কীভাবে নিজের ডিভাইসে Llama চালাবেন
Llama-র ওয়েটস ডাউনলোডযোগ্য, তাই আপনি এটি সম্পূর্ণ অফলাইনে ও ব্যক্তিগতভাবে নিজের কম্পিউটারে চালাতে পারেন। এটি করার চারটি উপায় এবং প্রয়োজনীয় হার্ডওয়্যারের সৎ পর্যালোচনা এখানে রয়েছে।
কেন নিজের কম্পিউটারে Llama চালাবেন
Llama-এর ওয়েট Meta উন্মুক্ত করেছে, তাই সীমাবদ্ধ চ্যাটবটগুলোর মতো নয়—আপনি চাইলে যেকোনো Llama মডেল ডাউনলোড করে নিজের ডিভাইসেই চালাতে পারেন। একবার ডাউনলোড হয়ে গেলে এটি অফলাইনে কাজ করে, আপনার প্রম্পট কখনোই কম্পিউটারের বাইরে যায় না, এবং কোনো মেসেজ লিমিট বা টোকেন প্রতি খরচের ঝামেলা নেই। তবে প্রধান সীমাবদ্ধতা হলো হার্ডওয়্যার: বড় মডেলগুলোর জন্য প্রচুর মেমরি প্রয়োজন, আর সাধারণ ল্যাপটপে ক্লাউড সার্ভারের তুলনায় গতি কিছুটা ধীর হতে পারে।
এই নির্দেশিকায় সবচেয়ে সহজ থেকে শুরু করে অ্যাডভান্সড তিনটি জনপ্রিয় টুল নিয়ে আলোচনা করা হয়েছে: Ollama, LM Studio এবং llama.cpp। আপনি যদি কেবল পরখ করে দেখতে চান, তবে আমাদের বিনামূল্যের Llama চ্যাট ব্যবহার করতে কোনো ইনস্টলেশনের প্রয়োজন নেই।
আপনার ডিভাইসের উপযোগী মডেল বেছে নিন
সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো মডেলের সাইজ নির্বাচন। একটি সাধারণ নিয়ম: মডেল ফাইলের আকারের সমপরিমাণ ফ্রি মেমরি (গ্রাফিক্স কার্ড মেমরি বা Apple silicon-এর ইউনিফায়েড মেমরি) এবং কথোপকথনের জন্য কিছুটা অতিরিক্ত জায়গার প্রয়োজন। মডেলে যদি মেমরিতে না ধরে, তবে এটি চালু হবে না অথবা সাধারণ সিস্টেম মেমরি ব্যবহারের কারণে অত্যন্ত ধীরগতির হয়ে যাবে।
প্রতিটি Llama মডেলের জন্য Ollama-এর ডিফল্ট ভার্সনগুলোর ডাউনলোডের সাইজ নিচে দেওয়া হলো। এগুলো কম্প্রেসড (কোয়ান্টাইজড) ফাইল, যা সাধারণত ঘরে বসে ব্যবহারের জন্য সবচেয়ে উপযোগী।
| মডেল | Ollama নাম | ডাউনলোড | যে কাজের জন্য সেরা |
|---|---|---|---|
| Llama 3.2 1B | llama3.2:1b | 1.3 GB | খুব কম কনফিগারেশনের ডিভাইস, সাধারণ কাজ |
| Llama 3.2 3B | llama3.2 | 2.0 GB | বেশিরভাগ ল্যাপটপ, দ্রুত টেক্সটের কাজ |
| Llama 3.1 8B | llama3.1 | 4.9 GB | বেশিরভাগ কম্পিউটারের জন্য সেরা প্রথম মডেল |
| Llama 3.1 70B | llama3.1:70b | 43 GB | উচ্চ ক্ষমতাসম্পন্ন ওয়ার্কস্টেশন |
| Llama 4 Scout | llama4:scout | 67 GB | হাই-মেমরি ওয়ার্কস্টেশন, ইমেজ প্রসেসিং |
| Llama 4 Maverick | llama4:maverick | 245 GB | একাধিক বড় GPU-যুক্ত সার্ভার |
আপনি যদি নিশ্চিত না হন, তবে Llama 3.1 8B দিয়ে শুরু করুন। এটি সাম্প্রতিক যেকোনো ল্যাপটপে চলার মতো ছোট এবং কার্যকরী কাজের উপযোগী। Llama 4 Scout সম্পর্কে Meta-এর নিজস্ব কার্ডে উল্লেখ আছে যে এটি Int4 কোয়ান্টাইজেশনের সাহায্যে একটিমাত্র H100 ডেটাসেন্টার GPU-তে চালানো সম্ভব, যা দেখে Llama 4 মডেলগুলোর বিশালত্বের পরিধি আন্দাজ করা যায়।
পদ্ধতি ১: Ollama (সবচেয়ে সহজ)
Ollama এমন একটি অ্যাপ যা একটিমাত্র কমান্ড দিয়ে মডেল ডাউনলোড ও রান করতে পারে এবং পরবর্তীতে ব্যবহারের জন্য প্রস্তুত রাখে।
- এর অফিসিয়াল সাইট থেকে Ollama ইনস্টল করুন।
- টার্মিনাল খুলে রান করুন:
ollama run llama3.1। প্রথমবার এটি মডেলটি ডাউনলোড করবে; এরপর থেকে কয়েক সেকেন্ডেই চালু হয়ে যাবে। - প্রম্পটে আপনার প্রশ্ন টাইপ করে Enter চাপুন।
অন্যান্য Llama মডেলগুলোও একইভাবে কাজ করে, যেমন ollama run llama3.2 অথবা ollama run llama4:scout। Llama 3.1, Llama 3.2 এবং Llama 4-এর জন্য Ollama লাইব্রেরি পেজগুলোতে প্রতিটি সাইজ তালিকাভুক্ত রয়েছে। Llama 4 পেজে দেখা যায় Scout-এর কনটেক্সট উইন্ডো 10M এবং Maverick-এর 1M, উভয়েই টেক্সট ও ইমেজ প্রসেস করতে পারে।
Ollama একটি লোকাল সার্ভারও চালু করে, যাতে আপনার নিজস্ব স্ক্রিপ্ট মডেলটি ব্যবহার করতে পারে। চ্যাট রিকোয়েস্ট দেখতে এমন হয়:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'পদ্ধতি ২: LM Studio (একটি ডেস্কটপ অ্যাপ)
LM Studio একটি ফ্রি ডেস্কটপ অ্যাপ যেখানে চ্যাট উইন্ডো রয়েছে, তাই টার্মিনাল ব্যবহারের কোনো প্রয়োজন নেই।
- আপনার অপারেটিং সিস্টেম অনুযায়ী LM Studio ডাউনলোড করে ওপেন করুন।
- Discover ট্যাবে গিয়ে "Llama" লিখে সার্চ করুন এবং আপনার মেমরির সাথে সামঞ্জস্যপূর্ণ একটি ভার্সন ডাউনলোড করুন।
- Chat ট্যাবে যান, উপরের মডেল লোডার থেকে মডেলটি বেছে নিন এবং চ্যাট শুরু করুন।
LM Studio একটি লোকাল সার্ভার হিসেবেও কাজ করতে পারে যা OpenAI-এর API ফরম্যাট সাপোর্ট করে, ডিফল্টভাবে এটি http://localhost:1234/v1 ঠিকানায় চলে। ক্লাউড সার্ভিসের বদলে অনেক প্রচলিত টুলকে এই অ্যাড্রেসে সংযুক্ত করা যায়। বিস্তারিত জানতে দেখুন LM Studio গাইড এবং OpenAI-কম্প্যাটিবল সার্ভার ডক্স।
পদ্ধতি ৩: llama.cpp (সর্বোচ্চ নিয়ন্ত্রণ)
llama.cpp হলো একটি ওপেন-সোর্স ইঞ্জিন যা অনেক লোকাল AI টুলকে ব্যাকএন্ড হিসেবে শক্তি জোগায়। এটি সরাসরি ব্যবহার করলে পারফরম্যান্স সেটিংসের ওপর সম্পূর্ণ নিয়ন্ত্রণ পাওয়া যায়। এটি GGUF ফাইল ফরম্যাটে মডেল চালায়, মডেলের সাইজ ছোট করার জন্য 1.5-bit থেকে 8-bit কোয়ান্টাইজেশন সাপোর্ট করে এবং Apple silicon-এ দারুণভাবে অপ্টিমাইজড।
- এটি ইনস্টল করুন। প্রজেক্টের README-তে ওয়ান-লাইন ইনস্টলার রয়েছে: macOS ও Linux-এর জন্য
curl -LsSf https://llama.app/install.sh | sh, অথবা Windows PowerShell-এর জন্যirm https://llama.app/install.ps1 | iex। - Hugging Face থেকে GGUF মডেল ব্যবহার করে সরাসরি টার্মিনালে চ্যাট করুন:
llama cli -hf <user>/<repo>। - অথবা একটি লোকাল OpenAI-কম্প্যাটিবল সার্ভার চালু করুন:
llama serve -hf <user>/<repo>।
প্লেসহোল্ডারের জায়গায় আপনি যে Llama মডেলটি চান তার Hugging Face রিপোজিটরির নাম দিন। প্রতিটি ফাইলে কোন ধরনের কোয়ান্টাইজেশন ব্যবহৃত হয়েছে তা রিপোজিটরির বিবরণী থেকে দেখে নিন; ছোট ফাইলের জন্য কম মেমরি লাগে তবে গুণগত মান কিছুটা কমতে পারে।
পদ্ধতি ৪: Meta-এর মূল ওয়েট (Original Weights)
যেসব ডেভেলপার ফুল-প্রিসিশন ওয়েট চান, তারা Meta-এর Hugging Face পেজ থেকে তা ডাউনলোড করতে পারেন, যেমন Llama 3.1 8B Instruct অথবা Llama 4 Scout। এই রিপোজিটরিগুলো সুরক্ষিত: ফাইলগুলো পাওয়ার জন্য আপনাকে সাইন ইন করে মডেল পেজের লাইসেন্স গ্রহণ করতে হবে। মডেল কার্ডগুলোতে Hugging Face Transformers লাইব্রেরির জন্য প্রয়োজনীয় কোড উদাহরণ দেওয়া আছে। ফুল-প্রিসিশন ওয়েটের জন্য কোয়ান্টাইজড ভার্সনগুলোর চেয়ে অনেক বেশি মেমরির প্রয়োজন হয়, তাই এই পথটি মূলত সার্ভার এবং ফাইন-টিউনিংয়ের জন্য উপযোগী।
সহজে শুরু করার কিছু পরামর্শ
- ছোট মডেল দিয়ে শুরু করুন। প্রথমে 8B বা 3B মডেল পরখ করুন। যদি উত্তর সন্তোষজনক না হয় এবং আপনার ডিভাইসের ক্ষমতা থাকে, তবেই বড় মডেলে যান।
- ভারী অ্যাপ বন্ধ রাখুন। ব্রাউজারে অতিরিক্ত ট্যাব এবং ব্যাকগ্রাউন্ডে গেম চালু থাকলে তা মেমরির ওপর চাপ ফেলে।
- কনটেক্সট সংক্ষিপ্ত রাখুন। খুব দীর্ঘ কথোপকথনে মেমরি বেশি খরচ হয় এবং গতি কমে যায়। নতুন বিষয়ের জন্য নতুন চ্যাট শুরু করুন।
- সিস্টেম প্রম্পট ব্যবহার করুন। মডেলের ভূমিকা এবং উত্তর দেওয়ার ধরন আগে থেকে নির্দিষ্ট করে দিলে ছোট মডেলগুলো থেকেও চমৎকার ফলাফল পাওয়া যায়। ধারণার জন্য আমাদের প্রম্পট লাইব্রেরি দেখতে পারেন।
- লাইসেন্সের শর্ত মনে রাখুন। ব্যক্তিগত ব্যবহারের নিয়ম সহজ, তবে কোনো বাণিজ্যিক পণ্য তৈরি করতে চাইলে আমাদের Llama লাইসেন্স গাইড পড়ে নিন।
- আপডেট তথ্যের সীমাবদ্ধতা জানুন। লোকাল মডেলগুলো ইন্টারনেটে সার্চ করে না। Llama 3.x-এর তথ্য ভাণ্ডার ডিসেম্বর ২০২৩ পর্যন্ত এবং Llama 4-এর আগস্ট ২০২৪ পর্যন্ত সীমাবদ্ধ।
লোকাল নাকি অনলাইন: কোনটি বেছে নেবেন
প্রাইভেসি, অফলাইন ব্যবহার বা প্রতিদিনের ভারী কাজের ক্ষেত্রে লোকাল Llama সেরা, যদি আপনার উপযুক্ত হার্ডওয়্যার থাকে। আর যদি শক্তিশালী কম্পিউটার ছাড়া বড় Llama 4 মডেলগুলো চালাতে চান, কিংবা দ্রুত পরখ করে দেখতে চান, তবে অনলাইন চ্যাট ব্যবহার করুন। এছাড়া ক্লাউড প্রোভাইডারের মাধ্যমে কোডের ভেতর থেকেও Llama ব্যবহার করা যায়; বিস্তারিত রয়েছে আমাদের Llama API গাইডে।
প্রথমে অনলাইনে Llama 4 Maverick ট্রাই করুন
সাধারণ জিজ্ঞাসা (FAQ)
গ্রাফিক্স কার্ড ছাড়া কি Llama চালানো সম্ভব?
হ্যাঁ, Llama 3.2 3B এবং Llama 3.1 8B-এর মতো ছোট মডেলগুলো সাধারণ প্রসেসরে চলে, তবে গতি কিছুটা কম হবে। শক্তিশালী GPU বা প্রচুর ইউনিফায়েড মেমরি ছাড়া বড় মডেলগুলো চালানো বাস্তবসম্মত নয়।
লোকালি Llama চালানো কি সম্পূর্ণ ফ্রি?
উপরের সফটওয়্যারগুলো এবং Llama ওয়েট বিনামূল্যে ডাউনলোড করা যায়। আপনার একমাত্র খরচ হার্ডওয়্যার এবং বিদ্যুৎ বিল।
লোকাল Llama মডেল কি ছবি প্রসেস করতে পারে?
Llama 4 Scout এবং Maverick ছবি বিশ্লেষণ করতে পারে, এবং Llama 3.2 Vision মডেলগুলোও পারে। তবে 1B, 3B এবং 8B টেক্সট মডেলগুলোতে এই সুবিধা নেই।
নতুনদের জন্য কোন টুলটি সবচেয়ে ভালো?
সহজ ইন্টারফেস ও মাউস ক্লিকে কাজ করতে চাইলে LM Studio বেছে নিন, আর টার্মিনালে একটি কমান্ড দিয়ে কাজ করতে স্বাচ্ছন্দ্যবোধ করলে Ollama ব্যবহার করুন।
সম্পর্কিত
Llama-কে আপনার প্রথম প্রশ্নটি করুন
কোনো অ্যাকাউন্ট বা ইনস্টলেশনের ঝামেলা নেই। চ্যাট ওপেন করুন, মেসেজ লিখুন এবং দেখুন Llama কী করতে পারে।
Llama চ্যাট খুলুন