مدل‌های زبانی بزرگ مانند Llama چگونه کار می‌کنند؟

وقتی سؤالی را در چت تایپ می‌کنید، Llama پاسخ را از جایی جستجو نمی‌کند. این مدل پاسخ را بر اساس الگوهایی که در طول آموزش یاد گرفته، تکه به تکه و کلمه به کلمه می‌نویسد. درک همین یک نکته ساده، بیشتر نقاط قوت مدل‌های زبانی بزرگ (LLMها) و اکثر دلایل خطای آن‌ها را توضیح می‌دهد. در این راهنما، نحوه کارکرد آن‌ها را بدون فرمول‌های ریاضی و با استفاده از مدل‌های Llama موجود در چت‌مان بررسی می‌کنیم.

توکن‌ها: مدل چگونه متن را می‌خواند

مدل‌های زبانی حروف یا کلمات کامل را به شکل مجزا نمی‌بینند. متن به توکن‌ها (Tokens) تقسیم می‌شود: یک کلمه رایج معمولاً یک توکن کامل است، کلمات طولانی‌تر یا نادرتر به چند بخش تقسیم می‌شوند و علائم نگارشی هم هرکدام توکن حساب می‌شوند. سپس هر توکن به فهرستی از اعداد تبدیل می‌شود تا مدل بتواند با آن‌ها محاسبات انجام دهد.

توکن‌ها دلیل برخی رفتارهای عجیب مدل را روشن می‌کنند. مثلاً اگر از مدل بپرسید حرف «r» چند بار در یک کلمه انگلیسی تکرار شده یا بخواهید کلمه‌ای را برعکس بنویسد، ممکن است اشتباه کند؛ چون از همان ابتدا حروف را جداگانه ندیده است. توکن‌ها همچنین دلیل این هستند که محدودیت‌ها (حجم متنی که مدل می‌تواند بخواند، یا طول پاسخ) به جای کلمات، با توکن شمرده می‌شوند. زبان‌هایی که برای هر جمله به توکن‌های بیشتری نیاز دارند، زودتر به این محدودیت‌ها می‌رسند.

پیش‌بینی: یک توکن در هر مرحله

یک مدل LLM در اصل یک کار اساسی انجام می‌دهد: با توجه به متنِ موجود تا این لحظه، احتمال ظاهر شدن هر یک از توکن‌های بعدی را تخمین می‌زند. یکی را انتخاب می‌کند، آن را به متن اضافه می‌کند و این فرآیند را تکرار می‌کند. یک پاسخ طولانی حاصل صدها یا هزاران بار تکرار همین مرحله است.

مدل همیشه محتمل‌ترین توکن را انتخاب نمی‌کند. مقدار کمی تصادفی‌سازی کنترل‌شده، که معمولاً با پارامتری به نام Temperature تنظیم می‌شود، پاسخ‌ها را متنوع و طبیعی نگه می‌دارد. به همین دلیل، پرسیدن یک سؤال تکراری هربار پاسخ‌هایی با لحن و کلمات متفاوت می‌دهد و زدن دکمه «تولید مجدد» (Regenerate) می‌تواند پاسخ بهتری به همراه داشته باشد.

آموزش: از پیش‌بینی‌کننده متن تا یک دستیار هوشمند

پیش‌آموزش (Pre-training)

ابتدا مدل حجم عظیمی از داده‌های متنی را می‌خواند و یاد می‌گیرد توکن بعدی را پیش‌بینی کند. شناسنامه رسمی مدل‌های Meta داده‌های پیش‌آموزش Llama 3.3 و 3.1 را «ترکیب جدیدی از داده‌های عمومی آنلاین» با بیش از ۱۵ تریلیون توکن توصیف می‌کند. Llama 4 روی ترکیبی از داده‌های عمومی، داده‌های لایسنس‌شده و اطلاعات محصولات Meta آموزش دیده است؛ یعنی حدود ۴۰ تریلیون توکن برای Scout و ۲۲ تریلیون برای Maverick. در طول این مسیر، مدل گرامر، فکت‌ها، سبک‌های نگارش، کدنویسی و الگوهای استدلال را یاد می‌گیرد، زیرا همه این‌ها به پیش‌بینی دقیق‌تر کمک می‌کنند.

تنظیم دستورالعمل‌ها (Instruction tuning)

یک مدل پیش‌بینی متن خام فقط ادامه‌ی جملات را می‌نویسد؛ پاسخ‌های مفید به سؤالات نمی‌دهد. بنابراین، مدل با نمونه‌هایی از دستورالعمل‌ها به همراه پاسخ‌های خوب و بازخورد انسان‌ها درباره بهترین پاسخ‌ها، بیشتر آموزش می‌بیند. شناسنامه مدل‌های Llama 3.x شرکت Meta این مراحل را تنظیم دقیق نظارت‌شده (SFT) و یادگیری تقویتی با بازخورد انسانی (RLHF) می‌نامد. نتیجه نهایی، همان نسخه «Instruct» است که با آن گفتگو می‌کنید.

محدودیت زمانی دانش (Knowledge Cut-off)

داده‌های آموزشی در یک تاریخ مشخص به پایان می‌رسند و مدل از اتفاقات بعد از آن بی‌خبر است. طبق اطلاعات Meta، این تاریخ انقضا برای Llama 4 Maverick و Scout اوت ۲۰۲۴، و برای Llama 3.3 70B و Llama 3.1 8B دسامبر ۲۰۲۳ است. اگر درباره موضوعات جدیدتر سؤالی بپرسید، مدل یا می‌گوید نمی‌داند، یا بدتر از آن، حدس می‌زند. چت ما دسترسی مستقیم به اینترنت ندارد تا این خلاء را پر کند.

کانتکست: حافظه کاری مدل

به هر آنچه مدل هنگام نوشتن پاسخ مدنظر قرار می‌دهد (دستورات اولیه، سابقه گفتگو تا این لحظه و پیام جدید شما)، کانتکست (Context) گفته می‌شود. مدل هیچ حافظه‌ای خارج از این کانتکست ندارد. وقتی چت جدیدی شروع می‌کنید، مدل هیچ چیزی از گفتگوهای قبلی به یاد نمی‌آورد.

حداکثر حجم این اطلاعات، پنجره کانتکست (Context Window) نام دارد که با توکن اندازه‌گیری می‌شود. در مستندات Meta این مقدار برای Llama 3.3 و 3.1 برابر با 128K توکن، برای Llama 4 Maverick برابر با 1M و برای Llama 4 Scout برابر با 10M است؛ ارائه‌دهنده‌ای که استفاده می‌کنیم حدود 524K برای Maverick و حدود 1.3M برای Scout پشتیبانی می‌کند. چت ما بخش کوتاه‌تری از هر گفتگو را ارسال می‌کند تا پاسخ‌ها سریع بمانند، به همین دلیل در چت‌های طولانی، پیام‌های خیلی اولیه ممکن است دیگر اثری روی پاسخ‌ها نداشته باشند.

ترکیب متخصصان (MoE): معماری Llama 4

مدل‌های Llama 3 از نوع متراکم (Dense) هستند: تمام پارامترها (اعدادی که مدل یاد گرفته) برای پردازش تک‌تک توکن‌ها به کار گرفته می‌شوند. در مقابل، Llama 4 از معماری ترکیب متخصصان (Mixture of Experts یا MoE) استفاده می‌کند. این مدل شامل چندین زیرشبکه تخصصی به نام «متخصص» است و برای هر توکن تنها برخی از آن‌ها فعال می‌شوند. طبق آمار رسمی Meta: مدل Llama 4 Scout از مجموع ۱۰۹ میلیارد پارامتر، ۱۷ میلیارد پارامتر فعال و ۱۶ متخصص دارد؛ مدل Llama 4 Maverick از ۴۰۰ میلیارد پارامتر، ۱۷ میلیارد پارامتر فعال و ۱۲۸ متخصص دارد. مزیت این ساختار، مدلی است که حجم عظیمی از دانش را ذخیره می‌کند اما هزینه پردازش هر توکن در آن کمتر از یک مدل متراکم با همان ابعاد است.

همچنین Llama 4 به‌طور بومی چندوجهی (Multimodal) است. Meta این ویژگی را «ادغام اولیه» (Early Fusion) می‌نامد: متن و تصویر به جای استفاده از افزونه‌های جانبی، با هم در یک مدل مشترک پردازش می‌شوند. به همین دلیل است که Maverick و Scout می‌توانند به سؤالات شما درباره عکس ارسالی پاسخ دهند، اما مدل‌های متنی Llama 3 چنین امکانی ندارند.

چرا مدل‌ها اطلاعات نادرست سرهم می‌کنند؟

یک مدل زبانی آموزش دیده تا متنی باورپذیر تولید کند، نه اینکه صحت فکت‌ها را بسنجد. وقتی یک فکت را به خوبی یاد گرفته باشد، متن باورپذیر و حقیقت با هم یکی می‌شوند. اما وقتی آن را بلد نیست (یک نام ناشناخته، یک عدد دقیق، رویدادی جدید یا منبع یک مقاله)، باز هم متنی تولید می‌کند که در ظاهر منطقی به نظر می‌رسد. به این حالت اصطلاحاً توهم (Hallucination) می‌گویند. مدل قصد فریب شما را ندارد؛ فقط پایگاه داده جداگانه‌ای از فکت‌ها در اختیار ندارد تا به آن مراجعه کند.

• اعداد دقیق، تاریخ‌ها، نقل‌قول‌ها و منابع معتبر بیشترین احتمال خطا را دارند.
• پرسیدن «مطمئنی؟» ممکن است باعث اصلاح اشتباه شود، یا حتی باعث شود مدل بابت حرفی که کاملاً درست بوده بی‌دلیل عذرخواهی کند. پس روش مطمئنی برای سنجش نیست.
• دادن متن منبع به مدل و خواستن اینکه فقط از روی همان متن جواب دهد، خطاها را به شدت کاهش می‌دهد.

تفاوت را می‌توانید در دو مدل درخواست زیر ببینید:

با تکیه بر حافظه مدل (احتمال خطای بالا):
کتابخانه شهر [شهر من] چه سالی تأسیس شد و چه کسی بودجه آن را تأمین کرد؟

با استفاده از منبع (مطمئن‌تر):
صرفاً بر اساس متن زیر، بگو این کتابخانه چه سالی تأسیس شد و چه کسی
بودجه آن را داد. اگر در متن نیامده، بنویس «ذکر نشده است».
"""
[متن بخش مربوطه از وب‌سایت رسمی کتابخانه را اینجا قرار دهید]
"""

در حالت اول، احتمالاً مدل اطلاعات بسیار کمی درباره کتابخانه محلی شما دارد و ممکن است یک حدس با لحن کاملاً مطمئن تحویلتان دهد. در حالت دوم، داده‌ها در کانتکست مدل وجود دارند و فقط باید آن‌ها را بخواند. ابزار خلاصه‌ساز نیز به همین شکل کار می‌کند: فقط بر اساس متنی که به آن می‌دهید پاسخ می‌دهد.

راهنمای ما درباره بررسی صحت پاسخ‌های هوش مصنوعی این روش‌ها را به یک راهکار کاربردی تبدیل کرده است.

این موارد چه تاثیری در استفاده شما از چت دارند؟

برای دیدن این مفاهیم در عمل، از Llama بخواهید خودش را توضیح دهد. برای یادگیری تکنیک‌های دستورنویسی، راهنمای نحوه نوشتن پرامپت را بخوانید؛ برای آشنایی با خود مدل‌ها، به صفحات Llama چیست و تاریخچه خانواده مدل‌های Llama سر بزنید.

پرسش‌های متداول

آیا Llama حرف‌هایی را که می‌زند درک می‌کند؟

این به تعریف شما از «درک کردن» بستگی دارد و پژوهشگران هم‌نظر نیستند. در عمل، مدل معنای مفاهیم را به اندازه‌ای می‌فهمد که بتواند خلاصه‌سازی و ترجمه کند و استدلال‌های مختلف بیاورد، اما ممکن است در مسائلی که یک کودک به راحتی حل می‌کند گیر بیفتد. خروجی آن را با بررسی نتایج بسنجید، نه لحن روان و زبان‌دانِ آن.

آیا مدل از گفتگوهای من یاد می‌گیرد؟

خیر. پارامترهای مدل در حین چت کردن شما تغییری نمی‌کنند. در طول یک گفتگو، مدل از گفته‌های شما به عنوان کانتکست استفاده می‌کند؛ اما به محض شروع یک چت جدید، آن کانتکست پاک می‌شود.

تفاوت بین Llama و ChatGPT چیست؟

هر دو از مدل‌های زبانی بزرگی استفاده می‌کنند که بر پایه اصولی یکسان ساخته شده‌اند. Llama خانواده‌ای از مدل‌های توسعه‌یافته توسط Meta است که با وزن‌های باز تحت لایسنس Meta منتشر شده‌اند تا همه بتوانند آن‌ها را دانلود و اجرا کنند؛ اما ChatGPT اپلیکیشنی از شرکت OpenAI است که مدل‌های اختصاصی OpenAI را در قالب یک سرویس ابری ارائه می‌دهد. مقایسه کامل را در Llama در برابر ChatGPT ببینید.

پارامترها چه هستند؟

پارامترها اعدادی در ساختار درونی مدل هستند که در طول مرحله آموزش تنظیم و بهینه‌سازی می‌شوند. پارامتر بیشتر یعنی ذخیره الگوهای بیشتر، اما این به معنای نیاز به قدرت پردازشی بالاتر نیز هست. اندازه مدل به تنهایی تضمین‌کننده کیفیت نیست؛ کیفیت داده‌های آموزشی و مراحل تنظیم دقیق نیز بسیار مهم هستند.

چرا فقط برخی از مدل‌ها تصویر قبول می‌کنند؟

مدل‌های Llama 4 Maverick و Scout همزمان روی متن و تصویر آموزش دیده‌اند. اما Llama 3.3 70B و Llama 3.1 8B مدل‌های صرفاً متنی هستند و توانایی درک تصاویر را ندارند. در راهنمای انتخاب بهترین مدل Llama هر چهار مدل را مقایسه کرده‌ایم.