نحوه اجرای محلی Llama

چرا Llama را روی کامپیوتر خود اجرا کنیم؟

وزن‌های مدل Llama توسط Meta منتشر شده‌اند، بنابراین برخلاف چت‌بات‌های اختصاصی، می‌توانید مدل Llama را دانلود کرده و روی سیستم خود اجرا کنید. پس از دانلود، مدل به‌صورت کاملاً آفلاین کار می‌کند، پرامپت‌های شما هرگز از کامپیوتر خارج نمی‌شوند و هیچ محدودیت پیام یا هزینه‌ای بر اساس توکن وجود ندارد. نقطه ضعف این روش سخت‌افزار است: مدل‌های بزرگ‌تر به رم بالایی نیاز دارند و لپ‌تاپ نسبت به سرور ابری پاسخ‌ها را کندتر تولید می‌کند.

این راهنما به سه ابزار رایج می‌پردازد؛ از ساده‌ترین تا حرفه‌ای‌ترین: Ollama، LM Studio و llama.cpp. اگر فقط می‌خواهید Llama را امتحان کنید، چت رایگان Llama ما اصلاً نیازی به نصب ندارد.

مدلی متناسب با سخت‌افزار خود انتخاب کنید

مهم‌ترین تصمیم، اندازه مدل است. یک قاعده کلی: به اندازه حجم فایل مدل حافظه آزاد (حافظه کارت گرافیک، یا Unified Memory در Apple silicon) نیاز دارید، به‌علاوه مقداری فضای اضافه برای پردازش گفتگو. اگر مدل در حافظه جا نشود، یا اصلاً اجرا نمی‌شود یا با استفاده از رم معمولی سیستم با سرعت بسیار پایینی کار می‌کند.

در ادامه حجم دانلود نسخه‌های پیش‌فرض هر مدل Llama در Ollama آورده شده است. این نسخه‌ها فایل‌های فشرده‌شده (کوانتایز شده) هستند که اکثر افراد در خانه از آن‌ها استفاده می‌کنند.

اگر مطمئن نیستید، با Llama 3.1 8B شروع کنید. حجم آن برای بسیاری از لپ‌تاپ‌های جدید مناسب و کارایی آن کاملاً کاربردی است. برگه رسمی Meta برای Llama 4 Scout نشان می‌دهد که این مدل با کوانتایزیشن Int4 روی یک پردازنده گرافیکی دیتاسنتری H100 جا می‌شود، که مقیاس بزرگ مدل‌های Llama 4 را نشان می‌دهد.

گزینه ۱: Ollama (ساده‌ترین روش)

Ollama برنامه‌ای است که مدل‌ها را با یک دستور دانلود و اجرا کرده و برای استفاده‌های بعدی آماده نگه می‌دارد.

1. Ollama را از سایت رسمی آن نصب کنید.
2. ترمینال را باز کنید و دستور ollama run llama3.1 را اجرا کنید. در اولین اجرا، مدل دانلود می‌شود؛ پس از آن در عرض چند ثانیه بالا می‌آید.
3. پرسش خود را تایپ کرده و Enter را بزنید.

سایر مدل‌های Llama هم به همین ترتیب کار می‌کنند، برای مثال ollama run llama3.2 یا ollama run llama4:scout. صفحات کتابخانه Ollama برای Llama 3.1، Llama 3.2 و Llama 4 تمام اندازه‌های موجود را لیست کرده‌اند. در صفحه Llama 4، مدل Scout با پنجره زمینه‌ای ۱۰ میلیونی و Maverick با ۱ میلیونی نمایش داده شده‌اند که هر دو از متن و تصویر پشتیبانی می‌کنند.

Ollama همچنین یک سرور محلی اجرا می‌کند تا بتوانید از اسکریپت‌های خود به مدل دسترسی داشته باشید. یک درخواست چت به این صورت خواهد بود:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "مفهوم بازگشت (recursion) را در دو جمله توضیح بده."}]
}'

گزینه ۲: LM Studio (برنامه دسکتاپ)

LM Studio یک نرم‌افزار دسکتاپ رایگان با محیط چت گرافیکی است، بنابراین اصلاً نیازی به کار با ترمینال ندارید.

1. برنامه LM Studio را برای سیستم‌عامل خود دانلود و باز کنید.
2. به تب Discover بروید، نام "Llama" را جستجو کرده و نسخه‌ای متناسب با حافظه رم خود را دانلود کنید.
3. به تب Chat بروید، مدل را از بخش انتخاب مدل در بالا انتخاب کرده و گفتگو را شروع کنید.

LM Studio همچنین می‌تواند به‌عنوان یک سرور محلی سازگار با API شرکت OpenAI عمل کند (به‌طور پیش‌فرض در آدرس http://localhost:1234/v1). بسیاری از ابزارهای موجود می‌توانند به‌جای سرویس‌های ابری، به این آدرس متصل شوند. راهنمای شروع به کار LM Studio و مستندات سرور سازگار با OpenAI را بررسی کنید.

گزینه ۳: llama.cpp (بیشترین کنترل و تنظیمات)

llama.cpp موتور متن‌بازی است که قدرت‌بخش بسیاری از ابزارهای هوش مصنوعی محلی است. استفاده مستقیم از آن بالاترین کنترل را روی تنظیمات عملکرد به شما می‌دهد. این ابزار مدل‌ها را با فرمت فایلی GGUF اجرا می‌کند، از انواع کوانتایزیشن ۱.۵ بیتی تا ۸ بیتی برای کاهش حجم مدل‌ها پشتیبانی می‌کند و با Apple silicon کاملاً بهینه است.

1. آن را نصب کنید. در فایل README پروژه، دستورات نصب تک‌خطی آمده است: curl -LsSf https://llama.app/install.sh | sh در macOS و لینوکس، یا irm https://llama.app/install.ps1 | iex در Windows PowerShell.
2. با یک مدل GGUF از Hugging Face مستقیماً در ترمینال گفتگو کنید: llama cli -hf <user>/<repo>.
3. یا یک سرور محلی سازگار با OpenAI اجرا کنید: llama serve -hf <user>/<repo>.

به‌جای متغیر بالا، آدرس ریپازیتوری Hugging Face مدل GGUF مورد نظر از سری Llama را قرار دهید. توضیحات ریپازیتوری را بخوانید تا ببینید هر فایل از چه نوع کوانتایزیشنی استفاده می‌کند؛ فایل‌های کوچک‌تر به رم کمتری نیاز دارند اما مقداری از کیفیت پاسخ‌ها کاسته می‌شود.

گزینه ۴: وزن‌های اصلی و رسمی از Meta

توسعه‌دهندگانی که به وزن‌های با دقت کامل (Full-precision) نیاز دارند می‌توانند آن‌ها را از صفحات رسمی Meta در Hugging Face دانلود کنند؛ مانند Llama 3.1 8B Instruct یا Llama 4 Scout. این مخازن دارای دسترسی مشروط هستند: پیش از دسترسی به فایل‌ها باید وارد حساب خود شوید و توافق‌نامه را در صفحه مدل تأیید کنید. برگه مشخصات مدل‌ها شامل کدهای نمونه برای کتابخانه Hugging Face Transformers است. وزن‌های کامل به حافظه بسیار بیشتری نسبت به نسخه‌های کوانتایز شده بالا نیاز دارند، بنابراین این روش بیشتر برای سرورها و فرایند Fine-tuning مناسب است.

نکاتی برای شروع راحت‌تر

• با مدل‌های کوچک شروع کنید. ابتدا یک مدل 8B یا 3B را تست کنید. تنها در صورتی سراغ مدل‌های بزرگ‌تر بروید که پاسخ‌ها رضایت‌بخش نباشند و سخت‌افزارتان توانایی کافی را داشته باشد.
• برنامه‌های سنگین دیگر را ببندید. مرورگرهای با تب‌های باز زیاد و بازی‌ها با هوش مصنوعی بر سر استفاده از حافظه رقابت می‌کنند.
• طول مکالمه (Context) را معقول نگه دارید. مکالمات خیلی طولانی رم بیشتری مصرف کرده و سرعت را پایین می‌آورند. برای موضوعات جدید، یک چت تازه باز کنید.
• از پرامپت سیستم (System Prompt) استفاده کنید. مشخص کردن نقش و شیوه پاسخ‌دهی مورد نظرتان، بازده مدل‌های کوچک را تا حد زیادی بهبود می‌دهد. کتابخانه پرامپت ما ایده‌های خوبی دارد.
• به شرایط لایسنس توجه داشته باشید. اجرای مدل برای استفاده شخصی ساده و آزاد است، اما اگر با آن محصولی تجاری می‌سازید، راهنمای لایسنس Llama ما را بخوانید.
• انتظار دانش کاملاً به‌روز نداشته باشید. مدل‌های محلی در وب جستجو نمی‌کنند. دانش Llama 3.x تا دسامبر ۲۰۲۳ و Llama 4 تا اوت ۲۰۲۴ به‌روز است.

اجرای محلی یا استفاده آنلاین: کدام گزینه بهتر است؟

وقتی حریم خصوصی، استفاده آفلاین یا استفاده مداوم و سنگین روزانه اهمیت بیشتری نسبت به سادگی دارد و سخت‌افزار کافی در اختیار دارید، Llama را به‌صورت محلی اجرا کنید. اما اگر می‌خواهید از مدل‌های بزرگ‌تر Llama 4 بدون داشتن سیستمی قدرتمند استفاده کنید یا صرفاً قصد تست کردن دارید، چت آنلاین گزینه بهتری است. همچنین می‌توانید با ارائه‌دهندگان ابری از طریق کد به Llama متصل شوید؛ موضوعی که در راهنمای API مدل Llama آن را توضیح داده‌ایم.

ابتدا Llama 4 Maverick را به‌صورت آنلاین امتحان کنید

پرسش‌های متداول

آیا می‌توانم Llama را بدون کارت گرافیک اجرا کنم؟

بله، مدل‌های کوچک مانند Llama 3.2 3B و Llama 3.1 8B روی پردازنده معمولی سیستم (CPU) اجرا می‌شوند، اما با سرعت پایین‌تر. اجرای مدل‌های بزرگ‌تر بدون یک پردازنده گرافیکی قدرتمند یا حافظه Unified بالا عملاً ممکن نیست.

آیا اجرای محلی Llama کاملاً رایگان است؟

نرم‌افزارهای نام‌برده و وزن‌های مدل‌های Llama برای دانلود کاملاً رایگان هستند. تنها هزینه شما مربوط به سخت‌افزار و مصرف برق سیستم خواهد بود.

آیا مدل محلی Llama توانایی خواندن و پردازش تصاویر را دارد؟

مدل‌های Llama 4 Scout و Maverick و همچنین مدل‌های Llama 3.2 Vision ورودی تصویر را می‌پذیرند. مدل‌های متنی 1B، 3B و 8B قابلیت پردازش تصویر ندارند.

یک فرد مبتدی باید از کدام ابزار استفاده کند؟

اگر ترجیح می‌دهید با یک برنامه دسکتاپ گرافیکی و کلیک کردن کار کنید LM Studio، و اگر با تایپ یک دستور در محیط ترمینال مشکلی ندارید Ollama بهترین انتخاب است.