Llama को लोकली कैसे चलाएँ
Llama के वेट्स डाउनलोड किए जा सकते हैं, इसलिए आप इसे अपने कंप्यूटर पर ऑफलाइन और पूरी प्राइवेसी के साथ चला सकते हैं। यहाँ इसे चलाने के 4 तरीके और हार्डवेयर की पूरी गाइड है।
अपने कंप्यूटर पर Llama क्यों चलाएं
Llama के वेट्स (weights) Meta द्वारा पब्लिश किए जाते हैं, इसलिए बंद चैटबॉट्स के विपरीत आप Llama मॉडल को डाउनलोड करके अपनी मशीन पर चला सकते हैं। एक बार डाउनलोड होने के बाद, यह ऑफलाइन काम करता है, आपके प्रॉम्प्ट कभी आपके कंप्यूटर से बाहर नहीं जाते, और कोई मैसेज लिमिट या प्रति-टोकन बिल नहीं होता। इसका एकमात्र समझौता हार्डवेयर है: बड़े मॉडल्स को बहुत अधिक मेमोरी की आवश्यकता होती है, और एक लैपटॉप क्लाउड सर्वर की तुलना में धीमी गति से जवाब देगा।
यह गाइड सबसे आसान से लेकर सबसे एडवांस तक के तीन सबसे लोकप्रिय टूल्स को कवर करती है: Ollama, LM Studio और llama.cpp। यदि आप केवल Llama को आज़माना चाहते हैं, तो हमारी मुफ़्त Llama चैट के लिए किसी भी इंस्टॉलेशन की आवश्यकता नहीं है।
अपनी मशीन के अनुकूल मॉडल चुनें
सबसे महत्वपूर्ण विकल्प मॉडल का साइज़ चुनना है। एक सामान्य नियम: आपको कम से कम मॉडल फ़ाइल जितनी खाली मेमोरी (ग्राफ़िक्स कार्ड मेमोरी, या Apple silicon पर यूनिफाइड मेमोरी) की आवश्यकता होती है, साथ ही बातचीत के लिए कुछ अतिरिक्त जगह भी चाहिए। यदि मॉडल फिट नहीं होता है, तो यह या तो लोड होने से मना कर देगा या सामान्य सिस्टम मेमोरी से बहुत धीमी गति से चलेगा।
ये वे डाउनलोड साइज़ हैं जो Ollama प्रत्येक Llama मॉडल के अपने डिफ़ॉल्ट वर्ज़न के लिए दिखाता है। ये कंप्रेस्ड (क्वांटाइज़्ड) फ़ाइलें हैं, जिस रूप में अधिकांश लोग घर पर मॉडल्स चलाते हैं।
| मॉडल | Ollama नाम | डाउनलोड | इसके लिए उपयुक्त |
|---|---|---|---|
| Llama 3.2 1B | llama3.2:1b | 1.3 GB | बेहद हल्की मशीनें, आसान काम |
| Llama 3.2 3B | llama3.2 | 2.0 GB | अधिकांश लैपटॉप, त्वरित टेक्स्ट टास्क |
| Llama 3.1 8B | llama3.1 | 4.9 GB | कई कंप्यूटरों के लिए एक बेहतरीन पहला मॉडल |
| Llama 3.1 70B | llama3.1:70b | 43 GB | पावरफुल वर्कस्टेशन |
| Llama 4 Scout | llama4:scout | 67 GB | हाई-मेमोरी वर्कस्टेशन, इमेजिस |
| Llama 4 Maverick | llama4:maverick | 245 GB | कई बड़े GPU वाले सर्वर |
यदि आप आश्वस्त नहीं हैं, तो Llama 3.1 8B से शुरुआत करें। यह कई नए लैपटॉप्स के लिए काफी छोटा है और उपयोगी होने के लिए पर्याप्त सक्षम है। Llama 4 Scout के लिए Meta का अपना कार्ड बताता है कि यह Int4 क्वांटाइज़ेशन के साथ एक सिंगल H100 डेटा-सेंटर GPU पर फिट बैठता है, जिससे Llama 4 मॉडल्स के स्केल का अंदाज़ा मिलता है।
विकल्प 1: Ollama (सबसे आसान)
Ollama एक ऐसा ऐप है जो एक कमांड से मॉडल्स को डाउनलोड करके चलाता है और उन्हें बाद में उपयोग के लिए तैयार रखता है।
- इसकी आधिकारिक साइट से Ollama इंस्टॉल करें।
- टर्मिनल खोलें और
ollama run llama3.1चलाएं। पहली बार चलने पर यह मॉडल डाउनलोड करता है; उसके बाद यह कुछ ही सेकंड में शुरू हो जाता है। - प्रॉम्प्ट पर अपना सवाल टाइप करें और Enter दबाएं।
अन्य Llama मॉडल्स भी इसी तरह काम करते हैं, उदाहरण के लिए ollama run llama3.2 या ollama run llama4:scout। Llama 3.1, Llama 3.2 और Llama 4 के लिए Ollama लाइब्रेरी पेज हर उपलब्ध साइज़ को लिस्ट करते हैं। Llama 4 पेज पर, Ollama Scout को 10M कॉन्टेक्स्ट विंडो के साथ और Maverick को 1M के साथ दिखाता है, दोनों टेक्स्ट और इमेज स्वीकार करते हैं।
Ollama एक लोकल सर्वर भी चलाता है, ताकि आपकी अपनी स्क्रिप्ट्स मॉडल का उपयोग कर सकें। एक चैट रिक्वेस्ट इस तरह दिखती है:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'विकल्प 2: LM Studio (एक डेस्कटॉप ऐप)
LM Studio चैट विंडो वाला एक मुफ़्त डेस्कटॉप ऐप है, इसलिए आपको कभी टर्मिनल की आवश्यकता नहीं पड़ती।
- अपने सिस्टम के लिए LM Studio डाउनलोड करें और इसे खोलें।
- Discover टैब खोलें, "Llama" खोजें और अपनी मेमोरी के अनुकूल वर्ज़न डाउनलोड करें।
- Chat टैब पर जाएं, ऊपर मॉडल लोडर में मॉडल चुनें और चैट करना शुरू करें।
LM Studio एक लोकल सर्वर के रूप में भी काम कर सकता है जो डिफ़ॉल्ट रूप से http://localhost:1234/v1 पर OpenAI के API जैसे फॉर्मेट में काम करता है। कई मौजूदा टूल्स क्लाउड सर्विस के बजाय उस एड्रेस पर पॉइंट कर सकते हैं। LM Studio शुरुआत करने की गाइड और OpenAI-कम्पैटिबल सर्वर डॉक्स देखें।
विकल्प 3: llama.cpp (सबसे ज़्यादा नियंत्रण)
llama.cpp वह ओपन-सोर्स इंजन है जो कई लोकल AI टूल्स को संचालित करता है। इसे सीधे उपयोग करने से आपको परफॉरमेंस सेटिंग्स पर सबसे अधिक नियंत्रण मिलता है। यह GGUF फ़ाइल फॉर्मेट में मॉडल्स चलाता है, मॉडल्स को छोटा करने के लिए 1.5-बिट से 8-बिट तक क्वांटाइज़ेशन को सपोर्ट करता है, और Apple silicon को प्राथमिकता देता है।
- इसे इंस्टॉल करें। प्रोजेक्ट README वन-लाइन इंस्टॉलर देता है: macOS और Linux पर
curl -LsSf https://llama.app/install.sh | sh, या Windows PowerShell मेंirm https://llama.app/install.ps1 | iex। - Hugging Face के GGUF मॉडल के साथ टर्मिनल में चैट करें:
llama cli -hf <user>/<repo>। - या एक लोकल OpenAI-कम्पैटिबल सर्वर शुरू करें:
llama serve -hf <user>/<repo>।
प्लेसहोल्डर को अपने पसंदीदा Llama मॉडल के GGUF वर्ज़न की Hugging Face रिपॉजिटरी से बदलें। यह जांचने के लिए रिपॉजिटरी का विवरण पढ़ें कि प्रत्येक फ़ाइल किस क्वांटाइज़ेशन का उपयोग करती है; छोटी फ़ाइलें कम मेमोरी में फिट होती हैं लेकिन कुछ क्वालिटी खो देती हैं।
विकल्प 4: Meta से ओरिजिनल वेट्स
जो डेवलपर्स फुल-प्रिसिजन वेट्स चाहते हैं, वे उन्हें Hugging Face पर Meta के पेजों से डाउनलोड कर सकते हैं, जैसे कि Llama 3.1 8B Instruct या Llama 4 Scout। ये रिपॉजिटरी गेटेड (gated) हैं: फ़ाइलों को अनलॉक करने से पहले आपको साइन इन करना होगा और मॉडल पेज पर लाइसेंस स्वीकार करना होगा। मॉडल कार्ड्स में Hugging Face Transformers लाइब्रेरी के लिए उदाहरण कोड शामिल है। फुल-प्रिसिजन वेट्स को ऊपर दिए गए क्वांटाइज़्ड वर्ज़न की तुलना में बहुत अधिक मेमोरी की आवश्यकता होती है, इसलिए यह तरीका मुख्य रूप से सर्वर्स और फाइन-ट्यूनिंग के लिए है।
आसान शुरुआत के लिए टिप्स
- छोटे मॉडल से शुरुआत करें। पहले 8B या 3B मॉडल आज़माएं। बड़े मॉडल पर केवल तभी जाएं जब उत्तर पर्याप्त अच्छे न हों और आपका हार्डवेयर उसे संभाल सके।
- अन्य भारी ऐप्स बंद करें। कई टैब वाले ब्राउज़र और गेम्स एक ही मेमोरी के लिए मुकाबला करते हैं।
- कॉन्टेक्स्ट सीमित रखें। बहुत लंबी बातचीत अधिक मेमोरी का उपयोग करती है और स्पीड धीमी कर देती है। नए विषय के लिए नई चैट शुरू करें।
- सिस्टम प्रॉम्प्ट का उपयोग करें। मॉडल को उसकी भूमिका और पसंदीदा उत्तर शैली बताना छोटे मॉडल्स के लिए बहुत मददगार होता है। हमारी प्रॉम्प्ट लाइब्रेरी में इसके कई आइडिया हैं।
- लाइसेंस का ध्यान रखें। अपने लिए मॉडल चलाना आसान है, लेकिन यदि आप इसके साथ कोई प्रोडक्ट बनाते हैं, तो हमारी Llama लाइसेंस गाइड पढ़ें।
- पुरानी जानकारी की अपेक्षा रखें। लोकल मॉडल्स वेब सर्च नहीं करते हैं। Llama 3.x का ज्ञान दिसंबर 2023 और Llama 4 का अगस्त 2024 में समाप्त होता है।
लोकल या ऑनलाइन: किसे चुनें
Llama को लोकल रूप से तब चलाएं जब प्राइवेसी, ऑफलाइन उपयोग या भारी दैनिक उपयोग सुविधा से अधिक मायने रखता हो, और जब आपके पास उपयुक्त हार्डवेयर हो। ऑनलाइन चैट का उपयोग तब करें जब आप बिना किसी शक्तिशाली कंप्यूटर के बड़े Llama 4 मॉडल्स चाहते हैं, या जब आप सिर्फ Llama को आज़मा रहे हों। आप क्लाउड प्रोवाइडर्स के माध्यम से कोड से भी Llama को कॉल कर सकते हैं; हमारी Llama API गाइड इसे कवर करती है।
पहले ऑनलाइन Llama 4 Maverick आज़माएं
अक्सर पूछे जाने वाले सवाल (FAQ)
क्या मैं बिना ग्राफ़िक्स कार्ड के Llama चला सकता हूँ?
हाँ, Llama 3.2 3B और Llama 3.1 8B जैसे छोटे मॉडल्स सामान्य प्रोसेसर पर चलते हैं, बस थोड़े धीमे होते हैं। एक शक्तिशाली GPU या बहुत सारी यूनिफाइड मेमोरी के बिना बड़े मॉडल्स चलाना व्यावहारिक नहीं है।
क्या Llama को लोकल रूप से चलाना मुफ़्त है?
ऊपर दिए गए सॉफ़्टवेयर और Llama वेट्स डाउनलोड करने के लिए मुफ़्त हैं। आपकी एकमात्र लागत हार्डवेयर और बिजली की है।
क्या कोई लोकल Llama मॉडल इमेज पढ़ सकता है?
Llama 4 Scout और Maverick इमेज स्वीकार करते हैं, और Llama 3.2 Vision मॉडल्स भी ऐसा करते हैं। 1B, 3B और 8B टेक्स्ट मॉडल्स इमेज सपोर्ट नहीं करते।
शुरुआती यूज़र को किस टूल का उपयोग करना चाहिए?
यदि आप डेस्कटॉप ऐप में क्लिक करना पसंद करते हैं तो LM Studio, और यदि आप टर्मिनल में एक कमांड टाइप करने में सहज हैं तो Ollama चुनें।
संबंधित
Llama से अपना पहला सवाल पूछें
न कोई अकाउंट और न ही कुछ इंस्टॉल करने का झंझट। चैट खोलें, मैसेज लिखें और देखें Llama क्या कर सकता है।
Llama चैट खोलें