Llama کو اپنے کمپیوٹر پر کیسے چلائیں

اپنے کمپیوٹر پر Llama کیوں چلائیں

Llama کے ویٹس Meta کی جانب سے اوپن سورس کے طور پر جاری کیے جاتے ہیں، اس لیے بند سورس والے چیٹ بوٹس کے برعکس آپ کوئی بھی Llama ماڈل ڈاؤن لوڈ کر کے اپنی مشین پر چلا سکتے ہیں۔ ایک بار ڈاؤن لوڈ ہونے کے بعد، یہ آف لائن کام کرتا ہے، آپ کے پرامپٹس کبھی کمپیوٹر سے باہر نہیں جاتے، اور نہ ہی میسجز کی کوئی حد یا فی ٹوکن بلز ہوتے ہیں۔ اس کا واحد تقاضا ہارڈ ویئر ہے: بڑے ماڈلز کے لیے زیادہ میموری درکار ہوتی ہے، اور ایک لیپ ٹاپ کلاؤڈ سرور کے مقابلے میں سست جواب دے گا۔

یہ گائیڈ تین مقبول ترین ٹولز کا احاطہ کرتی ہے، سب سے آسان سے لے کر ایڈوانس تک: Ollama، LM Studio اور llama.cpp۔ اگر آپ صرف Llama کو آزمانا چاہتے ہیں، تو ہماری مفت Llama چیٹ کے لیے کسی انسٹالیشن کی ضرورت نہیں ہے۔

وہ ماڈل منتخب کریں جو آپ کی مشین کے لیے موزوں ہو

سب سے اہم فیصلہ ماڈل کا سائز ہے۔ ایک عام اصول: آپ کے پاس ماڈل فائل کے حجم کے برابر کم از کم مفت میموری (گرافکس کارڈ میموری، یا Apple silicon پر unified میموری) ہونی چاہیے، علاوہ ازیں گفتگو کے لیے کچھ اضافی گنجائش۔ اگر ماڈل میموری میں پورا نہیں آتا، تو یہ یا تو لوڈ نہیں ہوگا یا باقاعدہ سسٹم میموری کی وجہ سے انتہائی سست چلے گا۔

یہ وہ ڈاؤن لوڈ سائزز ہیں جو Ollama ہر Llama ماڈل کے اپنے ڈیفالٹ ورژنز کے لیے فراہم کرتا ہے۔ یہ کمپریسڈ (quantized) فائلیں ہیں، اور اکثر لوگ گھر پر اسی طرح ماڈلز چلاتے ہیں۔

اگر آپ تذبذب کا شکار ہیں، تو Llama 3.1 8B سے شروعات کریں۔ یہ حالیہ دور کے کئی لیپ ٹاپس کے لیے کافی ہلکا اور کام کے لیے بہترین صلاحیت رکھتا ہے۔ Llama 4 Scout کے لیے Meta کے اپنے کارڈ کے مطابق یہ Int4 کوانٹائزیشن کے ساتھ ایک ہی H100 ڈیٹا سینٹر GPU پر فٹ ہو جاتا ہے، جس سے Llama 4 ماڈلز کے حجم کا اندازہ ہوتا ہے۔

پہلا آپشن: Ollama (سب سے آسان)

Ollama ایک ایسی ایپ ہے جو صرف ایک کمانڈ کے ساتھ ماڈلز کو ڈاؤن لوڈ اور رن کرتی ہے اور انہیں بعد میں استعمال کے لیے تیار رکھتی ہے۔

1. Ollama کو اس کی آفیشل سائٹ سے انسٹال کریں۔
2. ٹرمینل کھولیں اور ollama run llama3.1 چلائیں۔ پہلی بار یہ ماڈل ڈاؤن لوڈ کرے گا؛ اس کے بعد یہ سیکنڈوں میں شروع ہو جائے گا۔
3. پرامپٹ پر اپنا سوال ٹائپ کریں اور Enter دبائیں۔

دیگر Llama ماڈلز بھی اسی طرح کام کرتے ہیں، مثلاً ollama run llama3.2 یا ollama run llama4:scout۔ Llama 3.1، Llama 3.2 اور Llama 4 کے لیے Ollama لائبریری کے صفحات ہر دستیاب سائز کی تفصیل فراہم کرتے ہیں۔ Llama 4 کے پیج پر، Ollama نے Scout کو 10M اور Maverick کو 1M کونٹیکسٹ ونڈو کے ساتھ دکھایا ہے، اور دونوں ہی ٹیکسٹ اور تصاویر قبول کرتے ہیں۔

Ollama ایک لوکل سرور بھی چلاتا ہے، تاکہ آپ کے اپنے اسکرپٹس ماڈل کو استعمال کر سکیں۔ ایک چیٹ ریکویسٹ اس طرح نظر آتی ہے:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

دوسرا آپشن: LM Studio (ایک ڈیسک ٹاپ ایپ)

LM Studio ایک مفت ڈیسک ٹاپ ایپ ہے جس میں چیٹ ونڈو موجود ہوتی ہے، اس لیے آپ کو کبھی بھی ٹرمینل استعمال کرنے کی ضرورت نہیں پڑتی۔

1. اپنے سسٹم کے لیے LM Studio ڈاؤن لوڈ کریں اور اسے اوپن کریں۔
2. Discover ٹیب کھولیں، "Llama" سرچ کریں اور اپنی میموری کے مطابق ورژن ڈاؤن لوڈ کریں۔
3. Chat ٹیب پر جائیں، اوپر ماڈل لوڈر سے ماڈل منتخب کریں، اور گفتگو شروع کریں۔

LM Studio ایک لوکل سرور کے طور پر بھی کام کر سکتا ہے جو OpenAI کے API فارمیٹ کو سپورٹ کرتا ہے، ڈیفالٹ طور پر http://localhost:1234/v1 پر۔ بہت سے موجودہ ٹولز کلاؤڈ سروس کے بجائے اس ایڈریس سے منسلک ہو سکتے ہیں۔ مزید تفصیل کے لیے LM Studio شروع کرنے کی گائیڈ اور OpenAI ہم آہنگ سرور کی دستاویزات دیکھیں۔

تیسرا آپشن: llama.cpp (سب سے زیادہ کنٹرول)

llama.cpp وہ اوپن سورس انجن ہے جو کئی لوکل AI ٹولز کو طاقت بخشتا ہے۔ اسے براہِ راست استعمال کرنے سے آپ کو پرفارمنس سیٹنگز پر سب سے زیادہ کنٹرول حاصل ہوتا ہے۔ یہ GGUF فائل فارمیٹ میں ماڈلز چلاتا ہے، ماڈل کا سائز کم کرنے کے لیے 1.5-bit سے 8-bit تک کوانٹائزیشن کو سپورٹ کرتا ہے، اور Apple silicon کو فرسٹ کلاس پلیٹ فارم کے طور پر سپورٹ کرتا ہے۔

1. اسے انسٹال کریں۔ پروجیکٹ کا README ون لائن انسٹالرز فراہم کرتا ہے: macOS اور Linux پر curl -LsSf https://llama.app/install.sh | sh، یا Windows PowerShell میں irm https://llama.app/install.ps1 | iex۔
2. Hugging Face سے GGUF ماڈل کے ساتھ ٹرمینل میں چیٹ کریں: llama cli -hf <user>/<repo>۔
3. یا ایک لوکل OpenAI ہم آہنگ سرور شروع کریں: llama serve -hf <user>/<repo>۔

پلیس ہولڈر کی جگہ اپنی پسند کے Llama ماڈل کے GGUF ورژن کی Hugging Face ریپازیٹری درج کریں۔ یہ جاننے کے لیے ریپازیٹری کی تفصیل پڑھیں کہ ہر فائل کون سی کوانٹائزیشن استعمال کرتی ہے؛ چھوٹی فائلیں کم میموری لیتی ہیں لیکن کوالٹی میں معمولی کمی آ سکتی ہے۔

چوتھا آپشن: Meta کے اصل ویٹس

وہ ڈیولپرز جو فل پریسیشن (full-precision) ویٹس چاہتے ہیں، وہ انہیں Hugging Face پر Meta کے صفحات سے ڈاؤن لوڈ کر سکتے ہیں، جیسے کہ Llama 3.1 8B Instruct یا Llama 4 Scout۔ یہ ریپازیٹریز گیٹڈ ہیں: فائلیں ان لاک ہونے سے پہلے آپ کو سائن ان کرنا ہوگا اور ماڈل پیج پر لائسنس قبول کرنا ہوگا۔ ماڈل کارڈز میں Hugging Face Transformers لائبریری کے لیے نمونہ کوڈ بھی شامل ہے۔ فل پریسیشن ویٹس کو اوپر بیان کردہ کوانٹائزڈ ورژنز کے مقابلے میں بہت زیادہ میموری درکار ہوتی ہے، اس لیے یہ طریقہ کار زیادہ تر سرورز اور فائن ٹیوننگ کے لیے مخصوص ہے۔

آسان شروعات کے لیے مفید تجاویز

• چھوٹے ماڈل سے شروعات کریں۔ پہلے 8B یا 3B ماڈل آزمائیں۔ بڑے ماڈل کی طرف صرف تب جائیں جب جوابات تسلی بخش نہ ہوں اور آپ کا ہارڈ ویئر بوجھ سنبھال سکتا ہو۔
• دیگر بھاری ایپس بند کر دیں۔ بہت سے ٹیبس والے براؤزرز اور گیمز اسی میموری پر چل رہے ہوتے ہیں۔
• کونٹیکسٹ محدود رکھیں۔ بہت لمبی گفتگو زیادہ میموری لیتی ہے اور رفتار سست کر دیتی ہے۔ نئے موضوع کے لیے نئی چیٹ شروع کریں۔
• سسٹم پرامپٹ کا استعمال کریں۔ ماڈل کو اس کا کردار اور جواب دینے کا انداز بتانا چھوٹے ماڈلز کے لیے خاصا مددگار ثابت ہوتا ہے۔ ہماری پرامپٹ لائبریری میں کئی آئیڈیاز موجود ہیں۔
• لائسنس کا خیال رکھیں۔ ذاتی استعمال کے لیے ماڈل چلانا آسان ہے، لیکن اگر آپ اس کے ساتھ کوئی پروڈکٹ بنا رہے ہیں، تو ہماری Llama لائسنس گائیڈ ضرور پڑھیں۔
• پرانی معلومات کے لیے تیار رہیں۔ لوکل ماڈلز ویب سرچ نہیں کرتے۔ Llama 3.x کی معلومات دسمبر 2023 اور Llama 4 کی اگست 2024 پر ختم ہوتی ہیں۔

لوکل یا آن لائن: کس کا انتخاب کریں

جب رازداری، آف لائن کام یا روزانہ کا زیادہ استعمال آسانی سے زیادہ اہم ہو، اور آپ کے پاس موزوں ہارڈ ویئر موجود ہو، تو Llama کو لوکل چلائیں۔ جب آپ طاقتور کمپیوٹر کے بغیر بڑے Llama 4 ماڈلز استعمال کرنا چاہتے ہوں، یا محض Llama کو آزمانا مقصود ہو، تو آن لائن چیٹ کا انتخاب کریں۔ آپ کلاؤڈ فراہم کنندگان کے ذریعے کوڈ سے بھی Llama کو کال کر سکتے ہیں؛ ہماری Llama API گائیڈ اس کا احاطہ کرتی ہے۔

پہلے Llama 4 Maverick کو آن لائن آزمائیں

اکثر پوچھے جانے والے سوالات

کیا میں گرافکس کارڈ کے بغیر Llama چلا سکتا ہوں؟

جی ہاں، چھوٹے ماڈلز جیسے Llama 3.2 3B اور Llama 3.1 8B عام پروسیسر پر چل جاتے ہیں، بس رفتار کچھ سست ہوتی ہے۔ بڑے ماڈلز بغیر کسی طاقتور GPU یا کثیر unified میموری کے چلانا ممکن نہیں ہے۔

کیا لوکل Llama چلانا مفت ہے؟

اوپر دیا گیا سافٹ ویئر اور Llama کے ویٹس ڈاؤن لوڈ کے لیے بالکل مفت ہیں۔ آپ کا واحد خرچہ ہارڈ ویئر اور بجلی کا ہوتا ہے۔

کیا لوکل Llama ماڈل تصاویر پڑھ سکتا ہے؟

Llama 4 Scout اور Maverick تصاویر قبول کرتے ہیں، اور اسی طرح Llama 3.2 Vision ماڈلز بھی۔ 1B، 3B اور 8B ٹیکسٹ ماڈلز تصاویر کو سپورٹ نہیں کرتے۔

ایک مبتدی کو کون سا ٹول استعمال کرنا چاہیے؟

اگر آپ ڈیسک ٹاپ ایپ پر کلک کر کے کام کرنا پسند کرتے ہیں تو LM Studio، اور اگر آپ ٹرمینل میں کمانڈ ٹائپ کرنے میں آسانی محسوس کرتے ہیں تو Ollama بہترین ہے۔