Как запустить Llama на своем компьютере

Зачем запускать Llama на своем компьютере

Meta публикует веса Llama в открытом доступе, поэтому, в отличие от закрытых чат-ботов, вы можете скачать модель Llama и запустить ее на собственном устройстве. После загрузки она работает без интернета, ваши запросы не покидают компьютер, а лимитов на сообщения и счетов за токены просто нет. Единственный компромисс — требования к "железу": крупным моделям нужно много памяти, а на ноутбуке ответы будут генерироваться медленнее, чем на облачном сервере.

В этом руководстве рассмотрены три самых популярных инструмента — от самых простых до продвинутых: Ollama, LM Studio и llama.cpp. Если же вы хотите просто протестировать Llama, наш бесплатный чат Llama не требует никакой установки.

Как выбрать подходящую модель

Главный параметр — размер модели. Простое правило: вам нужно как минимум столько же свободной памяти (видеопамяти видеокарты или объединенной памяти Apple silicon), сколько весит файл модели, плюс небольшой запас для контекста диалога. Если модель не помещается в память, она либо откажется запускаться, либо будет работать крайне медленно из обычной оперативной памяти.

Ниже указаны размеры загрузки, которые Ollama указывает для базовых версий каждой модели Llama. Это сжатые (квантованные) файлы — именно в таком виде большинство пользователей запускает модели дома.

Если вы сомневаетесь, начните с Llama 3.1 8B. Она достаточно компактна для большинства современных ноутбуков и при этом отлично справляется с практическими задачами. Для сравнения: по данным самой Meta, Llama 4 Scout в 4-битном квантовании (Int4) помещается на один серверный ускоритель H100 — это дает наглядное представление о масштабе линейки Llama 4.

Вариант 1: Ollama (самый простой)

Ollama — это приложение, которое скачивает и запускает модели одной командой, сохраняя их на будущее.

1. Установите Ollama с официального сайта.
2. Откройте терминал и выполните команду ollama run llama3.1. При первом запуске модель загрузится на диск, а затем начнет отвечать за считанные секунды.
3. Введите вопрос в командной строке и нажмите Enter.

Другие модели Llama запускаются так же, например ollama run llama3.2 или ollama run llama4:scout. В каталоге Ollama на страницах Llama 3.1, Llama 3.2 и Llama 4 представлены все доступные размеры. Например, для Llama 4 указаны версии Scout с контекстным окном 10 млн токенов и Maverick с 1 млн токенов; обе понимают и текст, и изображения.

Кроме того, Ollama поднимает локальный сервер, к которому можно обращаться из собственных скриптов. Запрос к чату выглядит так:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Объясни рекурсию в двух предложениях."}]
}'

Вариант 2: LM Studio (приложение с интерфейсом)

LM Studio — бесплатная программа с привычным окном чата, где вам вообще не понадобится терминал.

1. Скачайте LM Studio для вашей операционной системы и запустите приложение.
2. Перейдите на вкладку Discover, найдите "Llama" и скачайте версию, подходящую под объем вашей памяти.
3. Откройте вкладку Chat, выберите загруженную модель в верхней панели и начинайте общение.

LM Studio также умеет работать как локальный сервер, полностью совместимый с API OpenAI (по умолчанию доступен по адресу http://localhost:1234/v1). Многие существующие программы и плагины можно сразу перенаправить на этот адрес вместо облачных сервисов. Подробности можно найти в руководстве по началу работы с LM Studio и документации по совместимому с OpenAI серверу.

Вариант 3: llama.cpp (максимум настроек)

llama.cpp — открытый движок, на базе которого построена большая часть локальных инструментов для работы с ИИ. Прямой запуск дает полный контроль над производительностью и параметрами генерации. Движок работает с моделями в формате GGUF, поддерживает квантование от 1.5 до 8 бит для уменьшения веса файлов и отлично оптимизирован под архитектуру Apple silicon.

1. Установите движок. В README проекта есть команды быстрой установки: curl -LsSf https://llama.app/install.sh | sh для macOS и Linux или irm https://llama.app/install.ps1 | iex в PowerShell на Windows.
2. Запустите чат в консоли с любой моделью GGUF с Hugging Face: llama cli -hf <user>/<repo>.
3. Или поднимите локальный сервер, совместимый с API OpenAI: llama serve -hf <user>/<repo>.

Замените плейсхолдер на адрес нужного репозитория с GGUF-версией Llama на Hugging Face. В описании репозитория всегда указано, какое квантование используется: файлы меньшего размера требуют меньше памяти, но незначительно теряют в качестве ответов.

Вариант 4: оригинальные веса от Meta

Разработчики, которым нужны исходные веса без квантования, могут скачать их напрямую со страниц Meta на Hugging Face — например, Llama 3.1 8B Instruct или Llama 4 Scout. Доступ к этим репозиториям предоставляется по запросу: перед скачиванием нужно войти в аккаунт и принять условия лицензии на странице модели. В карточках моделей есть примеры кода для библиотеки Transformers от Hugging Face. Исходные веса требуют значительно больше памяти, чем квантованные сборки, поэтому этот путь подходит в основном для серверов и дообучения.

Полезные советы для уверенного старта

• Начинайте с малого. Попробуйте сначала модели 8B или 3B. Переходите к более тяжелым только в том случае, если ответов не хватает по качеству, а ваше "железо" справляется с нагрузкой.
• Закрывайте тяжелые программы. Браузер с десятками вкладок и запущенные игры делят одну и ту же память с нейросетью.
• Следите за объемом переписки. Слишком длинные диалоги занимают дополнительную память и замедляют генерацию. Для новой темы лучше начинать свежий чат.
• Используйте системный промпт. Если сразу задать модели роль и желаемый формат ответа, даже небольшие версии будут отвечать гораздо точнее. Идеи можно найти в нашей библиотеке промптов.
• Учитывайте условия лицензии. Личное использование ничем не ограничено, но если вы создаете коммерческий продукт, ознакомьтесь с нашим руководством по лицензии Llama.
• Помните об актуальности данных. Локальные модели не выходят в интернет сами по себе. Знания моделей Llama 3.x ограничены декабрем 2023 года, а Llama 4 — августом 2024 года.

Локально или онлайн: что выбрать

Запускайте Llama локально, если для вас принципиальны полная конфиденциальность, работа без интернета или постоянные запросы без лимитов, а под рукой есть подходящее "железо". Пользуйтесь онлайн-чатом, когда хотите поработать с мощными версиями Llama 4 без покупки дорогого оборудования или просто хотите быстро оценить возможности Llama. Кроме того, Llama можно вызывать через программный интерфейс облачных провайдеров — об этом читайте в нашем руководстве по Llama API.

Попробовать Llama 4 Maverick онлайн

Частые вопросы

Можно ли запустить Llama без дискретной видеокарты?

Да, компактные версии, такие как Llama 3.2 3B и Llama 3.1 8B, могут работать и на обычном процессоре, просто медленнее. Крупные модели без мощного GPU или внушительного объема объединенной памяти запустить практически невозможно.

Запуск Llama на своем ПК действительно бесплатен?

Все перечисленные программы и веса моделей Llama полностью бесплатны. Ваши расходы сводятся только к стоимости оборудования и электричества.

Умеет ли локальная Llama распознавать изображения?

Llama 4 Scout и Maverick работают с изображениями, как и модели линейки Llama 3.2 Vision. Текстовые версии 1B, 3B и 8B принимают только текст.

Что лучше выбрать новичку?

LM Studio — если вам привычнее работать через графическое приложение с кнопками; Ollama — если вам не составляет труда ввести одну команду в терминале.