Llama جیسے لارج لینگویج ماڈلز (LLMs) کیسے کام کرتے ہیں

جب آپ چیٹ میں کوئی سوال لکھتے ہیں، تو Llama کہیں سے جواب تلاش (lookup) نہیں کرتا۔ یہ ان پیٹرنز کی بنیاد پر جواب لکھتا ہے جو اس نے ٹریننگ کے دوران سیکھے ہیں، اور یہ کام وہ ایک وقت میں ایک چھوٹے ٹکڑے کی صورت میں کرتا ہے۔ اس ایک بات کو سمجھ لینے سے یہ واضح ہو جاتا ہے کہ لارج لینگویج ماڈلز (LLMs) کن کاموں میں بہترین ہیں اور وہ کہاں غلطیاں کرتے ہیں۔ یہ گائیڈ بغیر کسی ریاضیاتی پیچیدگی کے، ہماری چیٹ میں موجود Llama ماڈلز کی مثالوں سے سمجھاتی ہے کہ یہ کیسے کام کرتے ہیں۔

ٹوکنز: ماڈل متن کیسے پڑھتا ہے

لینگویج ماڈلز حروف یا پورے الفاظ نہیں دیکھتے۔ متن کو ٹوکنز (tokens) میں تقسیم کیا جاتا ہے: ایک عام لفظ عموماً ایک ٹوکن ہوتا ہے، لمبے یا غیرمعمولی الفاظ ٹکڑوں میں بٹ جاتے ہیں، اور اوقاف (punctuation) بھی شمار ہوتے ہیں۔ ہر ٹوکن کو نمبرز کی ایک فہرست میں بدل دیا جاتا ہے جس پر ماڈل حساب کتاب کر سکتا ہے۔

ٹوکنز ماڈل کے کچھ عجیب رویوں کی وضاحت کرتے ہیں۔ اگر آپ ماڈل سے پوچھیں کہ کسی لمبے لفظ میں حرف "r" کتنی بار آیا ہے، یا کسی لفظ کے حروف الٹے لکھنے کو کہیں، تو ہو سکتا ہے وہ غلط جواب دے، کیونکہ اس نے شروع سے الگ الگ حروف دیکھے ہی نہیں۔ ٹوکنز ہی کی وجہ سے حدود (ماڈل کتنا متن پڑھ سکتا ہے، جواب کتنا طویل ہو سکتا ہے) الفاظ کے بجائے ٹوکنز میں ناپی جاتی ہیں۔ جن زبانوں کو فی جملہ زیادہ ٹوکنز درکار ہوتے ہیں، وہ ان حدود تک جلدی پہنچ جاتی ہیں۔

پیشن گوئی: ایک وقت میں ایک ٹوکن

بنیادی طور پر، ایک LLM صرف ایک کام کرتا ہے: اب تک کے متن کو دیکھتے ہوئے، وہ اندازہ لگاتا ہے کہ اگلے ممکنہ ٹوکنز میں سے کس کے آنے کا کتنا امکان ہے۔ وہ ایک ٹوکن چنتا ہے، اسے متن میں شامل کرتا ہے اور یہی عمل دہراتا ہے۔ ایک لمبا جواب ایسے ہی سینکڑوں یا ہزاروں مراحل کا مجموعہ ہوتا ہے۔

ماڈل ہمیشہ صرف سب سے زیادہ امکانی ٹوکن ہی نہیں چنتا۔ ایک ہلکی سی کنٹرول شدہ بے ترتیبی (randomness)، جو عموماً temperature نامی پیرامیٹر سے طے ہوتی ہے، جوابات کو متنوع اور قدرتی رکھتی ہے۔ اسی لیے ایک ہی سوال کے جواب میں ہر بار مختلف الفاظ ملتے ہیں، اور دوبارہ جنریٹ (regenerate) کرنے سے بعض اوقات بہتر جواب سامنے آتا ہے۔

ٹریننگ: ٹیکسٹ پریڈیکٹر سے اسسٹنٹ بننے کا سفر

پری ٹریننگ (Pre-training)

سب سے پہلے، ماڈل متن کا ایک بہت بڑا ذخیرہ پڑھتا ہے اور اگلے ٹوکن کی پیشن گوئی کرنا سیکھتا ہے۔ Meta کے ماڈل کارڈز Llama 3.3 اور 3.1 کے پری ٹریننگ ڈیٹا کو 15 ٹریلین سے زیادہ ٹوکنز پر مشتمل "پبلک آن لائن ڈیٹا کا نیا مجموعہ" قرار دیتے ہیں۔ Llama 4 کو عوامی سطح پر دستیاب، لائسنس یافتہ ڈیٹا اور Meta کی اپنی مصنوعات سے حاصل کردہ معلومات کے امتزاج پر ٹرین کیا گیا، جو Scout کے لیے تقریباً 40 ٹریلین اور Maverick کے لیے 22 ٹریلین ٹوکنز بنتے ہیں۔ اس دوران ماڈل گرامر، حقائق، انداز، کوڈ اور استدلال کے پیٹرنز سیکھتا ہے، کیونکہ یہ سب چیزیں اسے بہتر پیشن گوئی میں مدد دیتی ہیں۔

ہدایات کے مطابق ترتیب (Instruction tuning)

ایک خام پریڈیکٹر صرف متن کو آگے بڑھاتا ہے؛ وہ سوالات کے مفید جوابات نہیں دیتا۔ اس لیے ماڈل کو ایسی ہدایات اور ان کے اچھے جوابات کی مثالوں پر مزید ٹرین کیا جاتا ہے، ساتھ ہی انسانوں سے فیڈ بیک لیا جاتا ہے کہ کون سے جوابات زیادہ بہتر ہیں۔ Meta کے Llama 3.x ماڈل کارڈز ان مراحل کو سپروائزڈ فائن ٹیوننگ (SFT) اور ہیومن فیڈ بیک کے ساتھ ری انفورسمنٹ لرننگ (RLHF) کہتے ہیں۔ اس کا نتیجہ وہ "Instruct" ورژن ہے جس سے آپ چیٹ کرتے ہیں۔

علم کی آخری حد (Knowledge cut-off)

ٹریننگ ڈیٹا ایک خاص تاریخ پر رک جاتا ہے، اور اس کے بعد کی کوئی بات ماڈل کو معلوم نہیں ہوتی۔ Meta کے ماڈل کارڈز کے مطابق، یہ کٹ آف تاریخ Llama 4 Maverick اور Scout کے لیے اگست 2024 اور Llama 3.3 70B اور Llama 3.1 8B کے لیے دسمبر 2023 ہے۔ اس کے بعد کے واقعات کے بارے میں پوچھیں تو ماڈل یا تو کہے گا کہ وہ نہیں جانتا یا پھر اندازے لگانے لگے گا۔ ہماری چیٹ کے پاس اس کمی کو پورا کرنے کے لیے ویب تک رسائی نہیں ہے۔

سیاق و سباق (Context): ماڈل کا ورکنگ میموری

جواب لکھتے وقت ماڈل جن تمام چیزوں کو مدنظر رکھتا ہے (ہدایات، اب تک کی گفتگو اور آپ کا نیا پیغام)، وہ اس کا context کہلاتا ہے۔ اس کے علاوہ اس کے پاس کوئی میموری نہیں ہوتی۔ جب آپ نئی چیٹ شروع کرتے ہیں، تو ماڈل کو آپ کی پچھلی گفتگو کے بارے میں کچھ معلوم نہیں ہوتا۔

اس کی زیادہ سے زیادہ گنجائش کو context window کہا جاتا ہے، جس کی پیمائش ٹوکنز میں ہوتی ہے۔ Meta کے ماڈل کارڈز کے مطابق یہ Llama 3.3 اور 3.1 کے لیے 128K ٹوکنز، Llama 4 Maverick کے لیے 1M اور Llama 4 Scout کے لیے 10M ہے؛ ہمارا فراہم کنندہ Maverick کے لیے تقریباً 524K اور Scout کے لیے لگ بھگ 1.3M پیش کرتا ہے۔ جوابات کی رفتار تیز رکھنے کے لیے ہماری چیٹ ہر گفتگو کا ایک مختصر حصہ بھیجتی ہے، اسی لیے لمبی چیٹ میں شروع کے پیغامات کا بعد کے جوابات پر اثر ختم ہو سکتا ہے۔

ماہرین کا مجموعہ (Mixture of experts): Llama 4 کی ساخت

Llama 3 ماڈلز "ڈینس" (dense) ہیں: ان کا ہر پیرامیٹر (ماڈل کے اندر محفوظ حسابی اعداد) ہر ٹوکن کے لیے استعمال ہوتا ہے۔ اس کے برعکس Llama 4 ایک mixture-of-experts ڈیزائن استعمال کرتا ہے۔ اس ماڈل میں کئی مخصوص ذیلی نیٹ ورکس ہوتے ہیں جنہیں experts کہا جاتا ہے، اور ہر ٹوکن کے لیے ان میں سے صرف چند کو ہی استعمال کیا جاتا ہے۔ Meta کے ماڈل کارڈ کے اعداد و شمار کے مطابق: Llama 4 Scout میں کل 109 بلین میں سے 17 بلین فعال پیرامیٹرز ہیں جن میں 16 experts شامل ہیں؛ Llama 4 Maverick میں 400 بلین میں سے 17 بلین فعال پیرامیٹرز ہیں جن میں 128 experts ہیں۔ اس کا فائدہ یہ ہے کہ ماڈل بہت سا علم محفوظ رکھتا ہے لیکن اسی سائز کے ڈینس ماڈل کے مقابلے میں فی ٹوکن کم خرچ پر چلتا ہے۔

Llama 4 اندرونی طور پر ملٹی ماڈل (natively multimodal) بھی ہے۔ Meta اسے "early fusion" کہتا ہے: متن اور تصاویر کو الگ ایڈ آن کے بجائے ایک ہی ماڈل میں ایک ساتھ پروسیس کیا جاتا ہے۔ یہی وجہ ہے کہ Maverick اور Scout آپ کی منسلک کردہ تصویر کے بارے میں سوالات کے جواب دے سکتے ہیں، جبکہ صرف متن والے Llama 3 ماڈلز ایسا نہیں کر سکتے۔

ماڈلز باتیں کیوں گھڑتے ہیں؟

ایک لینگویج ماڈل کو ایسا متن بنانے کے لیے ٹرین کیا جاتا ہے جو پڑھنے میں درست لگے، نہ کہ یہ جانچنے کے لیے کہ وہ سچ ہے یا نہیں۔ جب اس نے کوئی حقیقت اچھی طرح سیکھی ہو، تو بظاہر معقول اور سچی بات ایک ہی ہوتی ہے۔ لیکن جب اس کے پاس معلومات نہ ہوں (جیسے کوئی نایاب نام، درست عدد، حالیہ واقعہ، یا حوالہ) تو وہ پھر بھی ایسی بات لکھ دیتا ہے جو درست معلوم ہو۔ اسے عام طور پر hallucination کہا جاتا ہے۔ یہ جان بوجھ کر بولا گیا جھوٹ نہیں ہے: ماڈل کے پاس حقائق کی تصدیق کے لیے الگ سے کوئی ڈیٹا بیس نہیں ہوتا۔

• بالکل درست اعداد، تواریخ، اقتباسات اور حوالہ جات کے غلط ہونے کا امکان سب سے زیادہ ہوتا ہے۔
• یہ پوچھنا کہ "کیا آپ کو یقین ہے؟" ماڈل کو غلطی سدھارنے پر بھی آمادہ کر سکتا ہے، یا وہ کسی بالکل درست بات پر بھی معذرت کر سکتا ہے۔ یہ جانچنے کا قابل اعتماد طریقہ نہیں ہے۔
• ماڈل کو اصل متن فراہم کرنا اور صرف اسی سے جواب دینے کی ہدایت کرنا عموماً غلطیوں کو کم کرتا ہے۔

آپ ایک ہی درخواست کے دو مختلف طریقوں سے فرق دیکھ سکتے ہیں:

یادداشت کی بنیاد پر (زیادہ غیر محفوظ):
[میرے شہر] کی لائبریری کب قائم ہوئی تھی اور اس کے اخراجات کس نے برداشت کیے تھے؟

حوالہ جاتی مواد کے ساتھ (زیادہ محفوظ):
صرف نیچے دیے گئے متن کی بنیاد پر بتائیں کہ لائبریری کب قائم ہوئی تھی اور
اس کے اخراجات کس نے دیے تھے۔ اگر متن میں یہ نہ ہو، تو "واضح نہیں ہے" لکھیں۔
"""
[لائبریری کی اپنی ویب سائٹ سے پیراگراف پیسٹ کریں]
"""

پہلی صورت میں، ماڈل نے شاید آپ کی مقامی لائبریری کے بارے میں بہت کم پڑھا ہو یا کچھ بھی نہ پڑھا ہو، اس لیے وہ اعتماد کے ساتھ اندازہ لگا سکتا ہے۔ دوسری صورت میں، حقائق اس کے سیاق و سباق (context) میں موجود ہیں، لہٰذا اسے صرف پڑھ کر بتانا ہے۔ ہمارا خلاصہ ساز (summarizer) بھی اسی طرح کام کرتا ہے: یہ آپ کے دیے گئے متن سے ہی جواب دیتا ہے۔

ہماری گائیڈ AI جوابات کی حقیقت جانچنا اسی طریقے کو ایک عملی معمول میں بدلتی ہے۔

چیٹ استعمال کرتے ہوئے اس کا کیا مطلب ہے؟

ان باتوں کو عملی طور پر دیکھنے کے لیے، Llama سے خود اس کی وضاحت مانگیں۔ پرامپٹ لکھنے کی تکنیک کے لیے، پڑھیں پرامپٹ کیسے لکھیں؛ اور خود ماڈلز کے بارے میں جاننے کے لیے، دیکھیں Llama کیا ہے اور Llama فیملی کی تاریخ۔

عام سوالات

کیا Llama سمجھتا ہے کہ وہ کیا کہہ رہا ہے؟

اس کا دارومدار اس بات پر ہے کہ آپ کے نزدیک "سمجھنے" کا کیا مطلب ہے، اور محققین کی اس پر مختلف آراء ہیں۔ عملی طور پر، یہ معانی کو اتنی اچھی طرح سنبھال لیتا ہے کہ خلاصہ بنا سکے، ترجمہ کر سکے اور کئی مسائل میں استدلال کر سکے، لیکن یہ ان باتوں میں بھی چوک سکتا ہے جو ایک بچے کے لیے آسان ہوتی ہیں۔ اس کی قابلیت کو اس کی زبانی روانی سے نہیں، بلکہ اس کے کام کی تصدیق کر کے پرکھیں۔

کیا یہ میری گفتگو سے سیکھتا ہے؟

نہیں۔ چیٹ کے دوران ماڈل کے پیرامیٹرز تبدیل نہیں ہوتے۔ ایک گفتگو کے دوران وہ آپ کی کہی ہوئی باتوں کو context کے طور پر استعمال کرتا ہے؛ جیسے ہی آپ نئی چیٹ شروع کرتے ہیں، وہ معلومات ختم ہو جاتی ہیں۔

Llama اور ChatGPT میں کیا فرق ہے؟

دونوں لارج لینگویج ماڈلز پر انحصار کرتے ہیں جو ملتے جلتے اصولوں پر بنے ہیں۔ Llama ماڈلز کا ایک ایسا سلسلہ ہے جسے Meta نے تیار کیا ہے اور اپنے لائسنس کے تحت اوپن ویٹس کے ساتھ جاری کیا ہے، تاکہ کوئی بھی انہیں ڈاؤن لوڈ کر کے چلا سکے؛ ChatGPT اصل میں OpenAI کی ایک ایپ ہے، جو ایک ہوسٹڈ سروس کے طور پر OpenAI کے ماڈلز چلاتی ہے۔ مزید دیکھیں Llama بمقابلہ ChatGPT۔

پیرامیٹرز کیا ہیں؟

یہ ماڈل کے اندر موجود وہ حسابی اعداد ہیں جنہیں ٹریننگ کے دوران ایڈجسٹ کیا جاتا ہے۔ زیادہ پیرامیٹرز زیادہ پیٹرنز محفوظ کر سکتے ہیں لیکن انہیں چلانے کے لیے زیادہ کمپیوٹنگ پاور درکار ہوتی ہے۔ صرف سائز ہی کوالٹی کا فیصلہ نہیں کرتا؛ ٹریننگ ڈیٹا اور ٹیوننگ بھی اتنی ہی اہمیت رکھتی ہے۔

صرف چند ماڈلز ہی تصاویر کیوں قبول کرتے ہیں؟

Llama 4 Maverick اور Scout کو بیک وقت متن اور تصاویر پر ٹرین کیا گیا تھا۔ Llama 3.3 70B اور Llama 3.1 8B صرف ٹیکسٹ ماڈلز ہیں، اس لیے وہ تصاویر نہیں دیکھ سکتے۔ ہماری گائیڈ صحیح Llama ماڈل کا انتخاب ان چاروں کا موازنہ پیش کرتی ہے۔