Llama-র মতো লার্জ ল্যাঙ্গুয়েজ মডেল যেভাবে কাজ করে
Llama সরাসরি তথ্য খুঁজে বের করে না; প্রশিক্ষণে শেখা প্যাটার্ন থেকে ধাপে ধাপে শব্দ জোড়া লাগিয়ে উত্তর তৈরি করে। এই ধারণা থেকেই এর সাফল্য ও ভুলের কারণ বোঝা যায়।
আপনি যখন চ্যাটে কোনো প্রশ্ন লেখেন, Llama কিন্তু কোথাও গিয়ে উত্তরটি খুঁজে দেখে না। এটি প্রশিক্ষণের সময় শেখা প্যাটার্নের ওপর ভিত্তি করে, প্রতিবারে একটি ছোট অংশ করে উত্তরটি লেখে। এই একটি বিষয় বুঝলেই লার্জ ল্যাঙ্গুয়েজ মডেলগুলো (LLMs) কেন কোনো কাজে দারুণ সফল হয় আর কেনই বা ভুল করে, তার বেশিরভাগ ব্যাখ্যা পাওয়া যায়। কোনো জটিল গণিত ছাড়াই, আমাদের চ্যাটে থাকা Llama মডেলগুলোর উদাহরণের সাহায্যে এই গাইডটিতে ব্যাখ্যা করা হয়েছে এগুলো কীভাবে কাজ করে।
টোকেন: মডেল কীভাবে লেখা পড়ে
ল্যাঙ্গুয়েজ মডেলগুলো অক্ষর বা পুরো শব্দ দেখে না। টেক্সটকে টোকেন-এ ভাগ করা হয়: একটি পরিচিত শব্দ সাধারণত একটি টোকেন হয়, দীর্ঘ বা কম ব্যবহৃত শব্দগুলোকে কয়েকটি অংশে ভাগ করা হয়, এবং যতিচিহ্নও আলাদা হিসেবে গণ্য হয়। প্রতিটি টোকেনকে কিছু সংখ্যার তালিকায় রূপান্তর করা হয়, যা নিয়ে মডেলটি গণনা করতে পারে।
টোকেনের কারণেই কিছু অদ্ভুত আচরণ দেখা যায়। কোনো মডেলকে একটি বড় শব্দে কতবার "r" অক্ষরটি আছে তা গণনা করতে বললে, বা শব্দটি উল্টো করে বানান করতে বললে এটি ভুল করতে পারে—কারণ এটিকে কখনোই আলাদা আলাদা অক্ষর দেখানো হয়নি। টোকেনের কারণেই বিভিন্ন সীমাবদ্ধতা (একটি মডেল কতটা টেক্সট পড়তে পারে, উত্তর কতটা দীর্ঘ হতে পারে) শব্দের বদলে টোকেন দিয়ে মাপা হয়। যেসব ভাষায় প্রতি বাক্যে বেশি টোকেন লাগে, সেগুলোর ক্ষেত্রে এই সীমাবদ্ধতা দ্রুত শেষ হয়ে যায়।
পূর্বাভাস: প্রতিবারে একটি করে টোকেন
মূলত, একটি LLM একটি কাজই করে: এ পর্যন্ত পাওয়া টেক্সটের ওপর ভিত্তি করে এর পরের সম্ভাব্য প্রতিটি টোকেন আসার সম্ভাবনা কতটা, তা অনুমান করে। এটি একটি টোকেন বেছে নেয়, টেক্সটে যোগ করে এবং প্রক্রিয়াটি পুনরায় চালু রাখে। একটি দীর্ঘ উত্তর হলো এমন শত শত বা হাজার হাজার পদক্ষেপের সমষ্টি।
মডেলটি সবসময় কেবল সবচেয়ে সম্ভাব্য টোকেনটিই বেছে নেয় না। উত্তরের বৈচিত্র্য এবং স্বাভাবিকতা বজায় রাখতে সাধারণত temperature নামের একটি প্যারামিটারের মাধ্যমে কিছুটা নিয়ন্ত্রিত এলোমেলো ভাব (randomness) রাখা হয়। এ কারণেই একই প্রশ্নে প্রতিবার উত্তরের ভাষা বদলে যায়, এবং regenerate চাপলে আরও ভালো উত্তর পাওয়া সম্ভব হয়।
প্রশিক্ষণ: টেক্সট প্রেডিক্টর থেকে সহকারীতে রূপান্তর
প্রি-ট্রেনিং
প্রথমে, মডেলটি বিপুল পরিমাণ টেক্সট পড়ে এবং পরবর্তী টোকেন অনুমান করা শেখে। Meta-র মডেল কার্ড অনুযায়ী, Llama 3.3 এবং 3.1-এর প্রি-ট্রেনিং ডেটা ছিল ১৫ ট্রিলিয়নেরও বেশি টোকেনের "একটি নতুন মিশ্রণের উন্মুক্ত অনলাইন ডেটা"। Llama 4 প্রশিক্ষিত হয়েছে উন্মুক্ত ও লাইসেন্সপ্রাপ্ত ডেটা এবং Meta-র প্রোডাক্ট থেকে পাওয়া তথ্যের ওপর—Scout-এর জন্য প্রায় ৪০ ট্রিলিয়ন এবং Maverick-এর জন্য ২২ ট্রিলিয়ন টোকেন। এই প্রক্রিয়ায় মডেলটি ব্যাকরণ, তথ্য, লেখার ধরন, কোড এবং যুক্তির প্যাটার্ন শিখে নেয়, কারণ এগুলো তাকে আরও নিখুঁত অনুমান করতে সাহায্য করে।
ইন্সট্রাকশন টিউনিং
একটি সাধারণ প্রেডিক্টর কেবল টেক্সট এগিয়ে নিতে পারে; এটি কার্যকরভাবে প্রশ্নের উত্তর দেয় না। তাই মডেলটিকে উপযুক্ত প্রতিক্রিয়াসহ বিভিন্ন নির্দেশের উদাহরণ এবং কোন উত্তরগুলো অপেক্ষাকৃত ভালো—সে সম্পর্কে মানুষের মতামতের ওপর আরও প্রশিক্ষণ দেওয়া হয়। Meta-র Llama 3.x মডেল কার্ডে এই ধাপগুলোকে সুপারভাইজড ফাইন-টিউনিং (SFT) এবং রিইনফোর্সমেন্ট লার্নিং উইথ হিউম্যান ফিডব্যাক (RLHF) বলা হয়েছে। এর চূড়ান্ত রূপটিই হলো "Instruct" সংস্করণ, যার সাথে আপনি চ্যাট করেন।
নলেজ কাট-অফ
একটি নির্দিষ্ট তারিখে এসে প্রশিক্ষণের ডেটা থেমে যায়, যার পরের কোনো তথ্য মডেলের জানা থাকে না। Meta-র মডেল কার্ড অনুযায়ী, এই কাট-অফ হলো Llama 4 Maverick ও Scout-এর জন্য আগস্ট ২০২৪ এবং Llama 3.3 70B ও Llama 3.1 8B-এর জন্য ডিসেম্বর ২০২৩। এর পরের কোনো বিষয় নিয়ে জানতে চাইলে মডেলটি হয়তো বলবে সে জানে না, অথবা অনুমানের ওপর ভিত্তি করে ভুল উত্তর দেবে। এই ঘাটতি পূরণের জন্য আমাদের চ্যাটে কোনো ওয়েব অ্যাক্সেস নেই।
কনটেক্সট: মডেলের ওয়ার্কিং মেমরি
উত্তর লেখার সময় মডেলটি যা কিছু বিবেচনায় নেয় (নির্দেশনা, বর্তমান কথোপকথন এবং আপনার নতুন বার্তা)—সেগুলোকে একসাথে কনটেক্সট বলা হয়। এর বাইরে এর কোনো স্মৃতি থাকে না। নতুন চ্যাট শুরু করলে মডেলটি আপনার আগের কথোপকথন সম্পর্কে কিছুই মনে রাখে না।
এর সর্বোচ্চ আকারকে বলা হয় কনটেক্সট উইন্ডো, যা টোকেনে পরিমাপ করা হয়। Meta-র মডেল কার্ডে Llama 3.3 ও 3.1-এর জন্য ১২৮K টোকেন, Llama 4 Maverick-এর জন্য ১M এবং Llama 4 Scout-এর জন্য ১০M উল্লেখ করা হয়েছে; আমরা যে প্রোভাইডার ব্যবহার করি তারা Maverick-এর জন্য প্রায় ৫২৪K এবং Scout-এর জন্য প্রায় ১.৩M অফার করে। উত্তর দ্রুত দেওয়ার জন্য আমাদের চ্যাটে প্রতিটি কথোপকথনের একটি সংক্ষিপ্ত অংশ পাঠানো হয়, যার কারণে দীর্ঘ চ্যাটের ক্ষেত্রে একদম শুরুর বার্তাগুলো পরবর্তী উত্তরে প্রভাব ফেলা বন্ধ করে দিতে পারে।
মিক্সচার অফ এক্সপার্টস: Llama 4 যেভাবে তৈরি
Llama 3 মডেলগুলো ডেন্স (dense): প্রতি টোকেনের জন্য প্রতিটি প্যারামিটার (মডেলের ভেতরে থাকা শেখা সংখ্যাগুলো) ব্যবহৃত হয়। অন্যদিকে Llama 4-এ ব্যবহার করা হয়েছে মিক্সচার-অফ-এক্সপার্টস আর্কিটেকচার। মডেলটিতে ‘এক্সপার্ট’ নামের অনেকগুলো বিশেষায়িত সাব-নেটওয়ার্ক থাকে এবং প্রতিটি টোকেনের জন্য এগুলোর মধ্যে মাত্র কয়েকটি ব্যবহৃত হয়। Meta-র মডেল কার্ডের তথ্য অনুযায়ী: Llama 4 Scout-এর মোট ১০৯ বিলিয়ন প্যারামিটারের মধ্যে ১৭ বিলিয়ন সক্রিয় থাকে এবং এতে ১৬টি এক্সপার্ট রয়েছে; Llama 4 Maverick-এর মোট ৪০০ বিলিয়নের মধ্যে ১৭ বিলিয়ন সক্রিয় এবং এতে ১২৮টি এক্সপার্ট রয়েছে। এর সুবিধা হলো—মডেলটি প্রচুর তথ্য সংরক্ষণ করতে পারে, কিন্তু একই আকারের একটি ডেন্স মডেলের তুলনায় প্রতি টোকেন চালাতে অনেক কম খরচ হয়।
Llama 4 একই সাথে ন্যাটিভলি মাল্টিমোডাল। Meta একে "আর্লি ফিউশন" হিসেবে বর্ণনা করেছে: কোনো আলাদা অ্যাড-অন ছাড়া একই মডেলে টেক্সট এবং ইমেজ একসাথে প্রসেস করা হয়। এ কারণেই Maverick এবং Scout আপনার যুক্ত করা ছবির বিষয়ে প্রশ্নের উত্তর দিতে পারে, যা শুধু টেক্সটভিত্তিক Llama 3 মডেলগুলো পারে না।
মডেলগুলো কেন মনগড়া কথা বলে
একটি ল্যাঙ্গুয়েজ মডেলকে বিশ্বাসযোগ্য টেক্সট তৈরি করার জন্য প্রশিক্ষণ দেওয়া হয়, তথ্যটি সত্যি কি না তা যাচাই করার জন্য নয়। যখন এটি কোনো তথ্য ভালোভাবে শিখে নেয়, তখন বিশ্বাসযোগ্যতা এবং সত্য একসাথে মিলে যায়। কিন্তু যখন তা শেখে না (যেমন: কোনো অপরিচিত নাম, নিখুঁত সংখ্যা, সাম্প্রতিক ঘটনা, কোনো রেফারেন্স), তখনও এটি এমন কিছু তৈরি করে যা শুনতে সত্যি মনে হয়। একে সাধারণত হ্যালুসিনেশন বলা হয়। এটি উদ্দেশ্যপ্রণোদিত মিথ্যা নয়: তথ্য যাচাই করে দেখার মতো কোনো আলাদা ডেটাবেস মডেলের কাছে থাকে না।
- সঠিক সংখ্যা, তারিখ, উদ্ধৃতি এবং রেফারেন্স ভুল হওয়ার সম্ভাবনা সবচেয়ে বেশি।
- "আপনি কি নিশ্চিত?" জিজ্ঞাসা করলে এটি হয়তো নিজেকে সংশোধন করবে, অথবা সঠিক বিষয়ের জন্যও দুঃখ প্রকাশ করবে। এটি যাচাইয়ের কোনো নির্ভরযোগ্য উপায় নয়।
- মডেলকে মূল টেক্সট দিয়ে কেবল সেটির ওপর ভিত্তি করে উত্তর দিতে বললে সাধারণত ভুল অনেক কমে যায়।
একই অনুরোধের দুটি সংস্করণের মধ্যে আপনি এই পার্থক্য দেখতে পারেন:
স্মৃতি থেকে (বেশি ঝুঁকিপূর্ণ): [আমার শহর]-এর টাউন লাইব্রেরি কবে প্রতিষ্ঠিত হয়েছিল এবং কে এতে অর্থায়ন করেছিলেন? নির্দিষ্ট উৎস থেকে (অপেক্ষাকৃত নিরাপদ): শুধুমাত্র নিচের টেক্সটটি ব্যবহার করে বলুন লাইব্রেরিটি কবে প্রতিষ্ঠিত হয়েছিল এবং কে অর্থায়ন করেছিলেন। টেক্সটে উল্লেখ না থাকলে লিখুন "উল্লেখ নেই"। """ [লাইব্রেরির নিজস্ব ওয়েবসাইট থেকে অনুচ্ছেদটি পেস্ট করুন] """
প্রথম ক্ষেত্রে মডেলটি সম্ভবত আপনার স্থানীয় লাইব্রেরি সম্পর্কে খুব কম তথ্য দেখেছে বা কিছুই দেখেনি, ফলে এটি আত্মবিশ্বাসের সাথে অনুমান করে উত্তর দিতে পারে। দ্বিতীয় ক্ষেত্রে তথ্যগুলো তার কনটেক্সটেই রয়েছে, তাই তাকে শুধু তা পড়তে হবে। আমাদের summarizer একইভাবে কাজ করে: এটি আপনার দেওয়া টেক্সটের ওপর ভিত্তি করেই উত্তর দেয়।
এআই উত্তরের তথ্য যাচাইয়ের উপায় সংক্রান্ত আমাদের গাইডটি এটিকে একটি কার্যকর অভ্যাসে রূপান্তর করতে সাহায্য করবে।
চ্যাট ব্যবহারের সময় এটি যেভাবে কাজে লাগাবেন
| কীভাবে কাজ করে | আপনার করণীয় |
|---|---|
| প্যাটার্ন থেকে অনুমান করে, তথ্য খুঁজে দেখে না | গুরুত্বপূর্ণ তথ্যগুলো যাচাই করে নিন |
| কনটেক্সটে যা আছে কেবল সেটাই জানে | প্রয়োজনীয় তথ্য ও পটভূমি পেস্ট করে দিন |
| নির্দিষ্ট নলেজ কাট-অফ, ওয়েব অ্যাক্সেস নেই | সংবাদ, মূল্য এবং আইনের ক্ষেত্রে বর্তমান উৎস ব্যবহার করুন |
| প্রতিটি উত্তরে কিছুটা এলোমেলো ভাব থাকে | সংস্করণগুলো তুলনা করতে Regenerate করুন |
| আলাদা চ্যাটের মাঝে কোনো স্মৃতি থাকে না | প্রতিটি নতুন চ্যাটে আপনার পছন্দগুলো পুনরায় উল্লেখ করুন |
| টোকেন পড়ে, অক্ষর নয় | অক্ষর গণনা বা সুনির্দিষ্ট ক্যারেক্টার লিমিটের জন্য এর ওপর নির্ভর করবেন না |
এই বিষয়গুলো বাস্তবে দেখতে, Llama-কে নিজেকে ব্যাখ্যা করতে বলুন। প্রম্পট লেখার কৌশলের জন্য পড়ুন কীভাবে প্রম্পট লিখতে হয়; আর মডেলগুলো সম্পর্কে বিস্তারিত জানতে দেখুন Llama কী এবং Llama পরিবারের ইতিহাস।
সাধারণ জিজ্ঞাসা (FAQ)
Llama কি বুঝতে পারে সে কী বলছে?
"বোঝা" বলতে আপনি কী বোঝান তার ওপর এটি নির্ভর করে, এবং গবেষকদের মধ্যেও এ নিয়ে মতভেদ রয়েছে। বাস্তবে এটি সারসংক্ষেপ তৈরি, অনুবাদ এবং অনেক সমস্যার যুক্তিসঙ্গত সমাধান করার মতো অর্থ বুঝতে পারে, তবুও এমন অনেক সহজ জিনিসে ভুল করে বসতে পারে যা একটি শিশুও সহজে বোঝে। এটি কতটা সাবলীল তা দেখে নয়, বরং এর কাজের সঠিকতা যাচাই করে এর মূল্যায়ন করুন।
এটি কি আমার কথোপকথন থেকে শেখে?
না। চ্যাট করার সময় মডেলের প্যারামিটারগুলোতে কোনো পরিবর্তন হয় না। একটি কথোপকথনের ভেতরে আপনি যা বলেছেন তা কনটেক্সট হিসেবে ব্যবহৃত হয়; নতুন চ্যাট শুরু করলেই সেই কনটেক্সট মুছে যায়।
Llama এবং ChatGPT-এর মধ্যে পার্থক্য কী?
উভয়ই একই ধরনের মূলনীতির ওপর তৈরি লার্জ ল্যাঙ্গুয়েজ মডেলের ওপর নির্ভরশীল। Llama হলো Meta-র তৈরি মডেলের একটি পরিবার যা ওপেন ওয়েইটস সহ Meta-র লাইসেন্সের আওতায় উন্মুক্ত করা হয়েছে, ফলে যে কেউ এগুলো ডাউনলোড করে চালাতে পারে; অন্যদিকে ChatGPT হলো OpenAI-এর একটি অ্যাপ, যা তাদের নিজস্ব মডেলগুলোকে একটি হোস্ট করা সার্ভিস হিসেবে পরিচালনা করে। বিস্তারিত দেখুন Llama বনাম ChatGPT।
প্যারামিটার কী?
এগুলো হলো মডেলের ভেতরের কিছু সংখ্যা যা প্রশিক্ষণের সময় সমন্বয় করা হয়। বেশি প্যারামিটার থাকলে বেশি প্যাটার্ন সংরক্ষণ করা যায়, তবে এর জন্য বেশি কম্পিউটিং ক্ষমতার প্রয়োজন হয়। শুধু আকার দিয়ে গুণমান নির্ধারিত হয় না; প্রশিক্ষণের ডেটা এবং টিউনিংও অত্যন্ত গুরুত্বপূর্ণ।
কেন কেবল কিছু মডেল ছবি গ্রহণ করে?
Llama 4 Maverick এবং Scout-কে টেক্সট ও ছবি একসাথে দিয়ে প্রশিক্ষণ দেওয়া হয়েছে। Llama 3.3 70B এবং Llama 3.1 8B কেবল টেক্সটভিত্তিক মডেল, তাই এগুলো ছবি দেখতে পায় না। সঠিক Llama মডেল নির্বাচন সম্পর্কিত আমাদের গাইডে এই চারটি মডেলের তুলনা করা হয়েছে।
সম্পর্কিত
Llama-কে আপনার প্রথম প্রশ্নটি করুন
কোনো অ্যাকাউন্ট বা ইনস্টলেশনের ঝামেলা নেই। চ্যাট ওপেন করুন, মেসেজ লিখুন এবং দেখুন Llama কী করতে পারে।
Llama চ্যাট খুলুন