Llama जैसे लार्ज लैंग्वेज मॉडल कैसे काम करते हैं

जब आप चैट में कोई सवाल टाइप करते हैं, तो Llama उसका जवाब कहीं से खोजकर नहीं लाता। यह ट्रेनिंग के दौरान सीखे गए पैटर्न्स के आधार पर, एक बार में थोड़ा-थोड़ा करके जवाब लिखता है। इस एक बात को समझ लेने से यह साफ हो जाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) किन चीज़ों में माहिर हैं और वे कहाँ चूक जाते हैं। बिना किसी गणितीय उलझन के, यह गाइड हमारे चैट में मौजूद Llama मॉडल्स के उदाहरणों के ज़रिए समझाती है कि वे कैसे काम करते हैं।

टोकन्स: मॉडल टेक्स्ट को कैसे पढ़ता है

लैंग्वेज मॉडल्स को सीधे अक्षर या पूरे शब्द दिखाई नहीं देते। टेक्स्ट को टोकन्स (tokens) में बाँटा जाता है: आम शब्द अक्सर एक ही टोकन होते हैं, लंबे या दुर्लभ शब्दों को टुकड़ों में तोड़ा जाता है, और विराम चिह्नों को भी गिना जाता है। हर टोकन को संख्याओं की एक लिस्ट में बदला जाता है, जिससे मॉडल कैलकुलेशन कर सके।

टोकन्स की वजह से कई बार कुछ अजीब नतीजे देखने को मिलते हैं। अगर आप मॉडल से पूछें कि किसी लंबे शब्द में "r" अक्षर कितनी बार आया है, या किसी शब्द को उल्टा लिखने को कहें, तो वह गलती कर सकता है—क्योंकि उसने कभी अलग-अलग अक्षरों को देखा ही नहीं। यही वजह है कि सीमाएँ (मॉडल कितना टेक्स्ट पढ़ सकता है, जवाब कितना लंबा हो सकता है) शब्दों के बजाय टोकन्स में नापी जाती हैं। जिन भाषाओं में प्रति वाक्य ज़्यादा टोकन्स की ज़रूरत होती है, वे इन सीमाओं तक जल्दी पहुँच जाती हैं।

प्रेडिक्शन: एक बार में एक टोकन

मूल रूप से, LLM सिर्फ एक काम करता है: अब तक लिखे गए टेक्स्ट के आधार पर, वह यह अनुमान लगाता है कि अगला संभावित टोकन कौन-सा हो सकता है। वह एक टोकन चुनता है, उसे टेक्स्ट में जोड़ता है और यही प्रक्रिया दोहराता रहता है। एक लंबा जवाब इसी तरह के सैकड़ों या हज़ारों स्टेप्स से मिलकर बनता है।

मॉडल हमेशा सबसे ज़्यादा संभावना वाले टोकन को ही नहीं चुनता। थोड़ा नियंत्रित रैंडमनेस (randomness), जिसे आमतौर पर टेंपरेचर (temperature) पैरामीटर से तय किया जाता है, जवाबों को स्वाभाविक और विविधता से भरा बनाए रखता है। इसी वजह से एक ही सवाल का हर बार अलग शब्दों में जवाब मिलता है, और regenerate दबाने पर बेहतर जवाब मिल सकता है।

ट्रेनिंग: टेक्स्ट प्रेडिक्टर से असिस्टेंट बनने तक

प्री-ट्रेनिंग

सबसे पहले, मॉडल भारी मात्रा में टेक्स्ट पढ़ता है और अगले टोकन का अनुमान लगाना सीखता है। Meta के मॉडल कार्ड्स Llama 3.3 और 3.1 के प्री-ट्रेनिंग डेटा को 15 ट्रिलियन से ज़्यादा टोकन्स का "सार्वजनिक रूप से उपलब्ध ऑनलाइन डेटा का नया मिश्रण" बताते हैं। Llama 4 को सार्वजनिक रूप से उपलब्ध और लाइसेंसी डेटा के साथ-साथ Meta के प्रोडक्ट्स की जानकारी पर ट्रेन किया गया था—Scout के लिए लगभग 40 ट्रिलियन टोकन्स और Maverick के लिए 22 ट्रिलियन। इस दौरान मॉडल व्याकरण, तथ्य, शैलियाँ, कोड और तर्क करने के तरीके सीखता है, क्योंकि ये सभी उसे बेहतर प्रेडिक्शन करने में मदद करते हैं।

इंस्ट्रक्शन ट्यूनिंग

एक कच्चा प्रेडिक्टर सिर्फ टेक्स्ट को आगे बढ़ाता है; वह उपयोगी तरीके से सवालों के जवाब नहीं देता। इसलिए मॉडल को अच्छे जवाबों वाले निर्देशों के उदाहरणों और इंसानी फीडबैक के आधार पर और ट्रेन किया जाता है ताकि यह तय हो सके कि कौन-से जवाब बेहतर हैं। Meta के Llama 3.x मॉडल कार्ड्स इन चरणों को सुपरवाइज़्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग विद ह्यूमन फीडबैक (RLHF) कहते हैं। इसका नतीजा वह "Instruct" वर्शन होता है जिसके साथ आप चैट करते हैं।

नॉलेज कट-ऑफ

ट्रेनिंग डेटा एक निश्चित तारीख पर रुक जाता है, और उसके बाद की घटनाओं के बारे में मॉडल कुछ नहीं जानता। Meta के मॉडल कार्ड्स के मुताबिक, Llama 4 Maverick और Scout के लिए कट-ऑफ अगस्त 2024 है, और Llama 3.3 70B व Llama 3.1 8B के लिए दिसंबर 2023 है। इसके बाद की किसी भी चीज़ के बारे में पूछने पर मॉडल या तो मना कर देगा कि उसे नहीं पता, या फिर गलत अंदाज़ा लगाएगा। उस कमी को पूरा करने के लिए हमारे चैट के पास कोई वेब एक्सेस नहीं है।

कॉन्टेक्स्ट: मॉडल की वर्किंग मेमोरी

जवाब लिखते समय मॉडल जिन सभी चीज़ों को ध्यान में रखता है (सिस्टम निर्देश, अब तक की बातचीत और आपका नया मैसेज), उसे उसका कॉन्टेक्स्ट (context) कहा जाता है। इसके अलावा उसकी कोई मेमोरी नहीं होती। जब आप नई चैट शुरू करते हैं, तो मॉडल को आपकी पिछली बातचीतों के बारे में कुछ भी याद नहीं रहता।

इसकी अधिकतम सीमा कॉन्टेक्स्ट विंडो कहलाती है, जिसे टोकन्स में नापा जाता है। Meta के मॉडल कार्ड्स में Llama 3.3 और 3.1 के लिए 128K टोकन्स, Llama 4 Maverick के लिए 1M और Llama 4 Scout के लिए 10M दर्ज हैं; हम जिस प्रोवाइडर का इस्तेमाल करते हैं वह Maverick के लिए लगभग 524K और Scout के लिए लगभग 1.3M उपलब्ध कराता है। हमारे चैट में जवाब तेज़ी से देने के लिए हर बातचीत का एक छोटा हिस्सा भेजा जाता है, यही वजह है कि लंबी बातचीत में बहुत पुराने मैसेजेस का असर नए जवाबों पर पड़ना बंद हो सकता है।

मिक्सचर ऑफ एक्सपर्ट्स: Llama 4 की बनावट

Llama 3 मॉडल्स 'डेंस' (dense) हैं: हर टोकन के लिए हर पैरामीटर (मॉडल के अंदर मौजूद सीखे गए नंबर्स) का इस्तेमाल होता है। इसके उलट, Llama 4 मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) डिज़ाइन का इस्तेमाल करता है। मॉडल में 'एक्सपर्ट्स' कहे जाने वाले कई स्पेशलाइज्ड सब-नेटवर्क्स होते हैं, और हर टोकन के लिए उनमें से सिर्फ कुछ का ही इस्तेमाल किया जाता है। Meta का मॉडल कार्ड यह आंकड़े देता है: Llama 4 Scout में कुल 109 बिलियन में से 17 बिलियन एक्टिव पैरामीटर्स (16 एक्सपर्ट्स के साथ) हैं; Llama 4 Maverick में 400 बिलियन में से 17 बिलियन एक्टिव (128 एक्सपर्ट्स के साथ) हैं। इसका फायदा यह है कि मॉडल बहुत सारा ज्ञान समेटे रहता है, लेकिन उसी आकार के डेंस मॉडल की तुलना में इसे चलाने का खर्च प्रति टोकन कम आता है।

Llama 4 नेटिवली मल्टीमॉडल भी है। Meta इसे "अर्ली फ्यूज़न" कहता है: टेक्स्ट और इमेज को किसी अलग ऐड-ऑन के बजाय एक ही मॉडल में एक साथ प्रोसेस किया जाता है। इसीलिए Maverick और Scout आपके द्वारा अटैच की गई फोटो के बारे में सवालों के जवाब दे सकते हैं, जबकि सिर्फ टेक्स्ट वाले Llama 3 मॉडल्स ऐसा नहीं कर सकते।

मॉडल्स मनगढ़ंत बातें क्यों बनाते हैं?

लैंग्वेज मॉडल को विश्वसनीय लगने वाला टेक्स्ट तैयार करने के लिए ट्रेन किया जाता है, यह जांचने के लिए नहीं कि वह सच है या नहीं। जब उसने किसी तथ्य को अच्छी तरह सीखा होता है, तो वह विश्वसनीय भी होता है और सच भी। लेकिन जब उसने नहीं सीखा होता (जैसे कोई दुर्लभ नाम, सटीक संख्या, हालिया घटना या कोई संदर्भ), तब भी वह ऐसा जवाब बना देता है जो सुनने में सही लगे। इसे आमतौर पर हैलुसिनेशन (hallucination) कहा जाता है। यह झूठ बोलना नहीं है: मॉडल के पास सलाह लेने के लिए तथ्यों का कोई अलग डेटाबेस नहीं होता।

• सटीक संख्याएँ, तारीखें, कोट्स और रेफरेंसेस के गलत होने की संभावना सबसे ज़्यादा होती है।
• "क्या आपको पूरा यकीन है?" पूछने पर वह सही बात को भी गलत मानकर सुधारने की कोशिश कर सकता है या माफी माँग सकता है। यह परखने का कोई भरोसेमंद तरीका नहीं है।
• मॉडल को सोर्स टेक्स्ट देना और उसी के आधार पर जवाब देने को कहना गलतियों को काफी कम कर देता है।

आप एक ही सवाल के दो अलग तरीकों में यह अंतर देख सकते हैं:

याददाश्त से (ज़्यादा जोखिम भरा):
[मेरे शहर] की लाइब्रेरी की स्थापना कब हुई थी, और इसके लिए फंड किसने दिया था?

सोर्स टेक्स्ट के साथ (ज़्यादा सुरक्षित):
केवल नीचे दिए गए टेक्स्ट का उपयोग करके बताएं कि लाइब्रेरी की स्थापना कब हुई थी और इसके लिए फंड किसने दिया था। अगर टेक्स्ट में नहीं लिखा है, तो जवाब दें "उल्लेख नहीं है"।
"""
[लाइब्रेरी की अपनी वेबसाइट से पैराग्राफ यहाँ पेस्ट करें]
"""

पहले मामले में, मॉडल ने शायद आपकी लोकल लाइब्रेरी के बारे में बहुत कम या कुछ भी नहीं पढ़ा होगा और वह आत्मविश्वास से भरा गलत अंदाज़ा लगा सकता है। दूसरे मामले में, तथ्य उसके कॉन्टेक्स्ट में मौजूद हैं, इसलिए उसे सिर्फ उन्हें पढ़ना है। हमारा summarizer भी इसी तरह काम करता है: यह आपके द्वारा दिए गए टेक्स्ट से ही जवाब देता है।

हमारा AI जवाबों की तथ्य-जांच करने की गाइड इसे एक व्यावहारिक आदत में बदलने का तरीका बताती है।

चैट का इस्तेमाल करते समय इसका क्या मतलब है

इन चीज़ों को खुद देखने के लिए, Llama से खुद को समझाने के लिए कहें। प्रॉम्प्ट लिखने के सही तरीकों के लिए, प्रॉम्प्ट कैसे लिखें पढ़ें; खुद मॉडल्स के बारे में जानने के लिए, देखें कि Llama क्या है और Llama परिवार का इतिहास क्या है।

अक्सर पूछे जाने वाले सवाल (FAQ)

क्या Llama जो कहता है, उसे समझता भी है?

"समझने" से आपका क्या मतलब है, यह इस पर निर्भर करता है और रिसर्चर्स की इस पर अलग-अलग राय है। व्यावहारिक रूप से, यह अर्थ को इतनी अच्छी तरह समझ लेता है कि समरी बना सके, ट्रांसलेट कर सके और कई समस्याओं पर विचार कर सके, फिर भी यह उन चीज़ों में गलती कर सकता है जो किसी बच्चे के लिए भी आसान होती हैं। इसके काम को उसके सही होने से परखें, न कि इस बात से कि वह सुनने में कितना धाराप्रवाह लगता है।

क्या यह मेरी बातचीतों से सीखता है?

नहीं। जब आप चैट करते हैं तो मॉडल के पैरामीटर्स नहीं बदलते। एक ही बातचीत के दौरान यह आपके कहे अनुसार कॉन्टेक्स्ट का उपयोग करता है; एक बार जब आप नई चैट शुरू करते हैं, तो वह कॉन्टेक्स्ट खत्म हो जाता है।

Llama और ChatGPT में क्या अंतर है?

दोनों ही समान सिद्धांतों पर बने लार्ज लैंग्वेज मॉडल्स पर निर्भर करते हैं। Llama, Meta द्वारा बनाए गए मॉडल्स का एक परिवार है जिसे Meta के लाइसेंस के तहत ओपन वेट्स (open weights) के साथ रिलीज़ किया गया है, ताकि कोई भी उन्हें डाउनलोड करके चला सके; ChatGPT, OpenAI का ऐप है, जो OpenAI के मॉडल्स को एक होस्टेड सर्विस के रूप में चलाता है। देखें Llama बनाम ChatGPT।

पैरामीटर्स क्या होते हैं?

ये मॉडल के अंदर मौजूद वे नंबर्स होते हैं जिन्हें ट्रेनिंग के दौरान एडजस्ट किया जाता है। ज़्यादा पैरामीटर्स ज़्यादा पैटर्न्स स्टोर कर सकते हैं लेकिन उनके लिए ज़्यादा कंप्यूटिंग पावर की ज़रूरत होती है। सिर्फ साइज़ से क्वालिटी तय नहीं होती; ट्रेनिंग डेटा और ट्यूनिंग भी मायने रखते हैं।

केवल कुछ मॉडल्स ही तस्वीरें क्यों स्वीकार करते हैं?

Llama 4 Maverick और Scout को टेक्स्ट और इमेज पर एक साथ ट्रेन किया गया था। Llama 3.3 70B और Llama 3.1 8B सिर्फ टेक्स्ट वाले मॉडल्स हैं, इसलिए वे तस्वीरें नहीं देख सकते। सही Llama मॉडल चुनने की हमारी गाइड इन चारों की तुलना करती है।