Як запустити Llama локально

Навіщо запускати Llama на власному комп'ютері

Ваги Llama публікуються Meta, тому, на відміну від закритих чат-ботів, ви можете завантажити модель Llama та запустити її на власній машині. Після завантаження вона працює офлайн, ваші промпти ніколи не залишають комп'ютер, а ліміти на повідомлення та оплата за токени відсутні. Єдиний компроміс — це залізо: більшим моделям потрібно багато пам'яті, а ноутбук відповідатиме повільніше, ніж хмарний сервер.

У цьому посібнику розглянуто три найпопулярніші інструменти, від найпростішого до найбільш гнучкого: Ollama, LM Studio та llama.cpp. Якщо ви просто хочете спробувати Llama, наш безкоштовний Llama чат взагалі не потребує встановлення.

Оберіть модель під ваше залізо

Найважливіше рішення — розмір моделі. Просте правило: вам потрібно щонайменше стільки ж вільної пам'яті (відеопам'яті відеокарти або об'єднаної пам'яті Apple silicon), скільки важить файл моделі, плюс додатковий запас для діалогу. Якщо модель не поміщається, вона або не запуститься взагалі, або працюватиме дуже повільно зі звичайної оперативної пам'яті.

Ось розміри завантаження, які Ollama вказує для стандартних версій кожної моделі Llama. Це стиснені (квантовані) файли — саме так більшість запускає моделі вдома.

Якщо ви вагаєтеся, почніть із Llama 3.1 8B. Вона достатньо компактна для багатьох сучасних ноутбуків і водночас ефективна для корисних завдань. У картці Meta для Llama 4 Scout зазначено, що вона поміщається на одному серверному GPU H100 із квантуванням Int4, що дає уявлення про масштаби моделей Llama 4.

Варіант 1: Ollama (найпростіший)

Ollama — це програма, яка завантажує та запускає моделі однією командою й тримає їх напоготові для подальшого використання.

1. Встановіть Ollama з офіційного сайту.
2. Відкрийте термінал і виконайте ollama run llama3.1. Під час першого запуску модель завантажиться; надалі вона стартуватиме за лічені секунди.
3. Введіть запитання та натисніть Enter.

Інші моделі Llama працюють так само, наприклад ollama run llama3.2 або ollama run llama4:scout. На сторінках бібліотеки Ollama для Llama 3.1, Llama 3.2 та Llama 4 перелічено всі доступні розміри. На сторінці Llama 4 Ollama вказує для Scout контекстне вікно 10M, а для Maverick — 1M; обидві моделі підтримують текст і зображення.

Ollama також запускає локальний сервер, тож ваші власні скрипти можуть використовувати модель. Запит до чату виглядає так:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Варіант 2: LM Studio (десктопний застосунок)

LM Studio — це безкоштовний десктопний застосунок зі звичним вікном чату, тому термінал вам не знадобиться.

1. Завантажте LM Studio для вашої системи та відкрийте програму.
2. Перейдіть на вкладку Discover, знайдіть «Llama» та завантажте версію, яка підходить під обсяг вашої пам'яті.
3. Відкрийте вкладку Chat, виберіть модель у верхньому меню завантаження та почніть спілкування.

LM Studio також може працювати як локальний сервер, сумісний із форматом OpenAI API, за замовчуванням за адресою http://localhost:1234/v1. Багато готових інструментів можна спрямувати на цю адресу замість хмарного сервісу. Ознайомтеся з посібником для початківців LM Studio та документацією сервера, сумісного з OpenAI.

Варіант 3: llama.cpp (максимальний контроль)

llama.cpp — це рушій із відкритим кодом, на якому базується багато інструментів для локального ШІ. Його пряме використання забезпечує найбільший контроль над налаштуваннями продуктивності. Він запускає моделі у форматі GGUF, підтримує квантування від 1.5-bit до 8-bit для зменшення розміру моделей і вважає Apple silicon платформою першого рівня.

1. Встановіть рушій. У README проєкту наведено команди встановлення в один рядок: curl -LsSf https://llama.app/install.sh | sh для macOS і Linux або irm https://llama.app/install.ps1 | iex у Windows PowerShell.
2. Спілкуйтеся в терміналі з моделлю GGUF з Hugging Face: llama cli -hf <user>/<repo>.
3. Або запустіть локальний сервер, сумісний з OpenAI: llama serve -hf <user>/<repo>.

Замініть плейсхолдер на потрібний репозиторій Hugging Face із версією моделі Llama у форматі GGUF. Перегляньте опис репозиторію, щоб перевірити використане квантування: менші файли потребують менше пам'яті, проте дещо втрачають у якості.

Варіант 4: оригінальні ваги від Meta

Розробники, яким потрібні ваги з повною точністю, можуть завантажити їх зі сторінок Meta на Hugging Face, наприклад Llama 3.1 8B Instruct або Llama 4 Scout. Доступ до цих репозиторіїв обмежено: перш ніж файли стануть доступними, потрібно увійти в обліковий запис і прийняти умови ліцензії на сторінці моделі. Картки моделей містять приклади коду для бібліотеки Hugging Face Transformers. Оригінальні ваги потребують набагато більше пам'яті, ніж квантовані версії, тому цей шлях здебільшого підходить для серверів і тонкого налаштування (fine-tuning).

Поради для легкого старту

• Почніть із малого. Спочатку спробуйте модель 8B або 3B. Переходьте до більших лише тоді, коли відповідей недостатньо і ваше залізо витримує навантаження.
• Закрийте інші ресурсомісткі програми. Браузери з купою вкладок та ігри змагаються за ту саму пам'ять.
• Не роздувайте контекст без потреби. Дуже довгі діалоги вимагають більше пам'яті та сповільнюють роботу. Для нової теми відкривайте новий чат.
• Використовуйте системний промпт. Чітка вказівка на роль і бажаний стиль відповіді суттєво допомагає невеликим моделям. Ідеї можна знайти в нашій бібліотеці промптів.
• Звертайте увагу на ліцензію. Запуск для власних потреб не має складнощів, але якщо ви створюєте продукт на основі моделі, прочитайте наш довідник із ліцензії Llama.
• Зважайте на актуальність знань. Локальні моделі не шукають інформацію в інтернеті. Знання Llama 3.x обмежені груднем 2023 року, а Llama 4 — серпнем 2024 року.

Локально чи онлайн: що обрати

Запускайте Llama локально, якщо конфіденційність, автономність або регулярне щоденне використання для вас важливіші за зручність, і якщо ви маєте належне апаратне забезпечення. Використовуйте онлайн-чат, якщо вам потрібні потужні моделі Llama 4 без потужного комп'ютера, або якщо ви просто хочете спробувати Llama. Ви також можете звертатися до Llama з коду через хмарних провайдерів; про це читайте в нашому посібнику з Llama API.

Спробувати Llama 4 Maverick онлайн

Часті запитання

Чи можна запустити Llama без відеокарти?

Так, невеликі моделі, як-от Llama 3.2 3B та Llama 3.1 8B, працюють на звичайному процесорі, проте повільніше. Запуск більших моделей без потужного GPU або великого обсягу об'єднаної пам'яті непрактичний.

Чи безкоштовно запускати Llama локально?

Згадані вище програми та ваги Llama можна завантажити безкоштовно. Ваші єдині витрати — це обладнання та електроенергія.

Чи розуміє локальна модель Llama зображення?

Llama 4 Scout і Maverick підтримують обробку зображень, так само як і версії Llama 3.2 Vision. Текстові моделі 1B, 3B та 8B зображення не приймають.

Який інструмент обрати початківцю?

LM Studio, якщо ви віддаєте перевагу графічному інтерфейсу десктопної програми, або Ollama, якщо вам комфортно ввести одну команду в терміналі.