كيف تعمل النماذج اللغوية الكبيرة مثل Llama

عندما تكتب سؤالاً في المحادثة، لا يبحث Llama عن الإجابة في أي مكان. بل يكتبها تدريجياً، جزءاً صغيراً تلو الآخر، بناءً على الأنماط التي تعلمها أثناء التدريب. فهم هذه الفكرة الواحدة يفسر معظم ما تبرع فيه النماذج اللغوية الكبيرة (LLMs) وأغلب الطرق التي تخفق بها أيضاً. يشرح هذا الدليل طريقة عملها دون أي تعقيدات رياضية، مستخدماً نماذج Llama المتوفرة في دردشتنا كأمثلة توضيحية.

الرموز (Tokens): كيف يقرأ النموذج النصوص

لا ترى النماذج اللغوية الحروف أو الكلمات الكاملة كما نراها. بل يُقسَّم النص إلى رموز (tokens): فالكلمة الشائعة غالباً ما تكون رمزاً واحداً، بينما تُقسَّم الكلمات الأطول أو الأقل شيوعاً إلى أجزاء، وتُحسب علامات الترقيم أيضاً كرموز. بعد ذلك، يتحول كل رمز إلى قائمة من الأرقام يستطيع النموذج إجراء العمليات الحسابية عليها.

تفسر الرموز بعض السلوكيات الغريبة للنماذج؛ فإذا طلبت من النموذج حساب عدد مرات تكرار حرف معين في كلمة طويلة، أو تهجئة كلمة بالعكس، قد يخطئ لأنه لم يرَ الحروف منفصلة في الأساس. كما تفسر الرموز سبب قياس الحدود القصوى (حجم النص الذي يمكن قراءته أو طول الإجابة) بالرموز وليس بالكلمات. وبالتالي، فإن اللغات التي تتطلب عدداً أكبر من الرموز لكل جملة تصل إلى هذه الحدود بسرعة أكبر.

التنبؤ: رمز واحد في كل خطوة

يقوم النموذج اللغوي الكبير في جوهره بأمر واحد: بالنظر إلى النص المكتوب حتى الآن، يقدّر احتمالية كل رمز يمكن أن يأتي تالياً. ثم يختار رمزاً ويضيفه إلى النص ويكرر العملية. وتتكون الإجابة الطويلة من مئات أو آلاف الخطوات المتتالية من هذا التنبؤ.

لا يختار النموذج دائماً الرمز الأكثر احتمالاً بمفرده؛ إذ إن وجود قدر ضئيل ومدروس من العشوائية—يُحدد عادةً عبر معلمة تُعرف باسم درجة الحرارة (temperature)—يحافظ على تنوع الإجابات وطبيعتها. لهذا السبب يؤدي طرح السؤال نفسه إلى صياغات مختلفة في كل مرة، ولهذا قد يمنحك الضغط على زر إعادة التوليد إجابة أفضل.

التدريب: من مجرد متنبئ بالنصوص إلى مساعد ذكي

التدريب الأولي (Pre-training)

في البداية، يقرأ النموذج كميات هائلة من النصوص ليتعلم كيفية التنبؤ بالرمز التالي. توضح بطاقات بيانات نماذج Meta أن بيانات التدريب الأولي لنموذجي Llama 3.3 وLlama 3.1 كانت عبارة عن "مزيج جديد من البيانات المتاحة للعامة عبر الإنترنت" تجاوز 15 تريليون رمز. أما Llama 4، فقد دُرِّب على مزيج من البيانات العامة والمرخصة ومعلومات من منتجات Meta، بنحو 40 تريليون رمز لنموذج Scout و22 تريليون لنموذج Maverick. وخلال هذه العملية، يكتسب النموذج قواعد اللغة والحقائق والأساليب البرمجية وأنماط الاستدلال المنطقي، لأن كل ذلك يساعده على التنبؤ بدقة أعلى.

ضبط التعليمات (Instruction tuning)

يكتفي النموذج المتنبئ الخام بمواصلة النص دون تقديم إجابات مفيدة للأسئلة. لذلك، يخضع لمزيد من التدريب عبر أمثلة تتضمن تعليمات وإجابات نموذجية عليها، إضافة إلى تقييمات بشرية تحدد أي الإجابات أفضل. تُطلق بطاقات بيانات Meta لنماذج Llama 3.x على هاتين الخطوتين اسم الضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز من خلال التغذية الراجعة البشرية (RLHF). والنتيجة هي إصدار "Instruct" المخصص للمحادثة الذي تتفاعل معه.

تاريخ انقطاع المعرفة (Knowledge cut-off)

تتوقف بيانات التدريب عند تاريخ محدد، ولا يعلم النموذج أي شيء بعده. وفقاً لبطاقات بيانات Meta، فإن الحد الزمني لمعرفة Llama 4 Maverick وScout هو أغسطس 2024، وديسمبر 2023 لنموذجي Llama 3.3 70B وLlama 3.1 8B. إذا سألته عن أي حدث وقع بعد هذه التواريخ، فإما سيخبرك بأنه لا يعلم، أو الأسوأ من ذلك: سيبدأ بالتخمين. وتجدر الإشارة إلى أن الدردشة لدينا لا تتصل بالويب لتعويض هذا النقص.

السياق: الذاكرة المؤقتة للنموذج

يُطلق اسم السياق (Context) على كل ما يضعه النموذج في الحسبان أثناء صياغة الإجابة (التعليمات، والمحادثة الجارية، ورسالتك الجديدة). لا يملك النموذج أي ذاكرة خارج هذا النطاق، وعندما تبدأ محادثة جديدة، لا يتذكر أي شيء عن محادثاتك السابقة.

يُقاس الحد الأقصى لهذا السياق بـ نافذة السياق (Context window)، وتُحسب بالرموز. تشير بطاقات نماذج Meta إلى سعة 128 ألف رمز لنموذجي Llama 3.3 و3.1، ومليون رمز لـ Llama 4 Maverick، و10 ملايين لـ Llama 4 Scout؛ ويوفر المزود الذي نعتمد عليه نحو 524 ألف رمز لـ Maverick ونحو 1.3 مليون لـ Scout. ترسل دردشتنا جزءاً مقتطعاً وأقصر من المحادثة لضمان سرعة الردود، ولهذا السبب قد تفقد الرسائل الأولى في المحادثات الطويلة جداً تأثيرها على الإجابات اللاحقة.

مزيج الخبراء: كيف صُمم Llama 4

تعتمد نماذج Llama 3 على بنية كثيفة (dense)، حيث تُستخدم كل المعلمات (الأرقام التي تعلمها النموذج بداخله) مع كل رمز يتم توليده. في المقابل، يعتمد Llama 4 على بنية مزيج الخبراء (Mixture-of-experts)؛ حيث يحتوي على شبكات فرعية متخصصة تُدعى "الخبراء"، ولا يُستعان إلا ببعضها فقط عند معالجة كل رمز. توضح أرقام بطاقة بيانات Meta ذلك: يحتوي Llama 4 Scout على 17 مليار معلمة نشطة من أصل 109 مليارات مع 16 خبيراً، بينما يحتوي Llama 4 Maverick على 17 مليار معلمة نشطة من أصل 400 مليار مع 128 خبيراً. وتكمن الميزة في الحصول على نموذج يختزن كماً هائلاً من المعرفة وبتكلفة تشغيل أقل بكثير لكل رمز مقارنة بالنماذج الكثيفة من نفس الحجم الإجمالي.

كما يتميز Llama 4 بأنه متعدد الوسائط بطبيعته؛ حيث تشير Meta إلى تقنية "الدمج المبكر"، التي تعالج النصوص والصور معاً في نموذج واحد بدلاً من الاعتماد على إضافة خارجية منفصلة. لهذا السبب يستطيع كل من Maverick وScout الإجابة عن أسئلة حول الصور التي ترفقها، بينما تعجز نماذج Llama 3 المقتصرة على النصوص عن ذلك.

لماذا تختلق النماذج معلومات غير صحيحة؟

دُرّب النموذج اللغوي على إنتاج نصوص مقنعة وسلسة، لا على التحقق من صحتها واقعياً. فعندما يستوعب حقيقة معينة جيداً، تتطابق الإجابة المقنعة مع الحقيقة؛ أما إذا لم يستوعبها (كاسم نادر، أو رقم دقيق، أو حدث حديث، أو مرجع علمي)، فإنه يصوغ كلاماً يبدو صحيحاً ومنطقياً في ظاهره. يُعرف هذا السلوك بـ الهلوسة (Hallucination). النموذج لا يتعمد الكذب هنا، بل ببساطة ليس لديه قاعدة بيانات مستقلة للحقائق يرجع إليها للتأكد.

• الأرقام الدقيقة والتواريخ والاقتباسات والمصادر هي الأكثر عرضة للخطأ.
• سؤال النموذج "هل أنت متأكد؟" قد يدفعه للتراجع والاعتذار حتى لو كانت إجابته الأولى صحيحة تماماً؛ لذا فهو ليس وسيلة فحص موثوقة.
• تزويد النموذج بالنص المصدري ومطالبته بالاعتماد عليه حصراً يقلل الأخطاء بدرجة كبيرة.

يمكنك ملاحظة الفرق بين هاتين الطريقتين لنفس الطلب:

الاعتماد على الذاكرة (أكثر عرضة للخطأ):
متى تأسست مكتبة بلدية [مدينتي]، ومن قام بتمويلها؟

الاعتماد على مصدر (أكثر دقة وأماناً):
بالاعتماد فقط على النص أدناه، اذكر متى تأسست المكتبة ومن قام
بتمويلها. وإذا لم يتضمن النص هذه المعلومة، أجب بـ "غير مذكور".
"""
[الصق هنا الفقرة المأخوذة من موقع المكتبة الرسمي]
"""

في الحالة الأولى، ربما لم يسبق للنموذج مصادفة أي معلومات عن مكتبتك المحلية، لذا قد يطرح تخميناً يبدو واثقاً. أما في الحالة الثانية، فالحقائق متوفرة داخل سياقه المباشر وما عليه سوى قراءتها واستخراجها. تعمل أداة التلخيص بالأسلوب نفسه: فهي تجيب حصراً من النص الذي تقدمه لها.

يقدم دليلنا حول التحقق من صحة إجابات الذكاء الاصطناعي خطوات عملية لتطبيق ذلك.

ما يعنيه هذا عند استخدام الدردشة

لتشهد هذه الأفكار عملياً، اطلب من Llama أن يشرح طريقة عمله بنفسه. للاطلاع على أساليب صياغة الأوامر، اقرأ طريقة كتابة الأوامر (Prompts)؛ ولمعرفة المزيد عن النماذج ذاتها، راجع ما هو Llama AI وتاريخ عائلة نماذج Llama.

الأسئلة الشائعة

هل يفهم Llama ما يقوله حقاً؟

يعتمد ذلك على مفهوم "الفهم" لديك، وهو أمر يختلف حوله الباحثون. عملياً، يتعامل النموذج مع المعاني بكفاءة تكفي للتلخيص والترجمة وحل الكثير من المسائل المنطقية، ومع ذلك قد يتعثر في أمور يدركها الطفل بسهولة. احكم على أدائه بفحص إجاباته والتأكد منها، لا بناءً على مدى فصاحته وسلاسة لغته.

هل يتعلم النموذج من محادثاتي معه؟

لا. لا تتغير معلمات النموذج أثناء الدردشة. فخلال الجلسة الواحدة يستخدم كلامك كسياق مؤقت فقط؛ وبمجرد أن تبدأ محادثة جديدة، يتلاشى هذا السياق تماماً.

ما الفرق بين Llama وChatGPT؟

يعتمد كلاهما على نماذج لغوية كبيرة بُنيت وفق مبادئ متشابهة. Llama هو عائلة نماذج طورتها Meta وتتيح أوزانها البرمجية مفتوحة بموجب ترخيص خاص بها، مما يسمح لأي شخص بتحميلها وتشغيلها؛ أما ChatGPT فهو تطبيق تابع لشركة OpenAI يتيح تشغيل نماذجها كخدمة سحابية مستضافة. راجع مقارنة Llama مقابل ChatGPT.

ما هي المعلمات (Parameters)؟

هي القيم العددية والمتغيرات الداخلية في النموذج التي يتم تعديلها وضبطها أثناء التدريب. تتيح المعلمات الأكثر استيعاب أنماط أكثر من البيانات ولكنها تتطلب قدرات حوسبة أعلى. ولا يُحدد الحجم وحده مستوى الجودة، إذ تلعب بيانات التدريب وعمليات الضبط دوراً حاسماً أيضاً.

لماذا تقبل بعض النماذج الصور دون غيرها؟

دُرِّب نموذجا Llama 4 Maverick وScout على النصوص والصور معاً في آن واحد. بينما يقتصر نموذجا Llama 3.3 70B وLlama 3.1 8B على معالجة النصوص فقط، وبالتالي يعجزان عن فهم الصور. يقدم دليلنا حول اختيار نموذج Llama المناسب مقارنة شاملة بين النماذج الأربعة.