Как устроены большие языковые модели вроде Llama

Когда вы отправляете вопрос в чат, Llama не ищет ответ в базе данных. Модель пишет его шаг за шагом, кусочек за кусочком, опираясь на языковые шаблоны, усвоенные во время обучения. Эта простая идея объясняет практически всё: и сильные стороны больших языковых моделей (LLM), и типичные причины их ошибок. В этом руководстве мы разберем, как они устроены, без формул и математики — на примере моделей Llama из нашего чата.

Токены: как модель воспринимает текст

Языковые модели не видят текст привычным нам образом — как буквы или целые слова. Текст разбивается на токены: часто встречающееся слово обычно становится одним токеном, длинные или редкие слова делятся на части, а знаки препинания тоже считаются отдельными токенами. Затем каждый токен превращается в набор чисел, с которыми модель может производить математические вычисления.

Токены объясняют некоторые странности в поведении ИИ. Спросите модель, сколько раз буква «р» встречается в длинном слове, или попросите написать слово задом наперед — и она вполне может ошибиться, ведь она изначально не видела отдельных букв. Из-за токенов все лимиты (объем текста, который модель может прочитать, или длина ответа) тоже измеряются в токенах, а не в словах. Языки, требующие больше токенов на одно предложение, быстрее исчерпывают эти ограничения.

Предсказание: шаг за шагом, токен за токеном

По своей сути LLM делает одну-единственную вещь: оценивает уже написанный текст и вычисляет вероятность появления каждого возможного следующего токена. Она выбирает подходящий токен, добавляет его к тексту и повторяет цикл. Развернутый ответ складывается из сотен или тысяч таких шагов.

Модель далеко не всегда выбирает самый вероятный токен. Небольшая контролируемая случайность, которой управляет параметр temperature («температура»), делает ответы разнообразными и живыми. Именно поэтому на один и тот же вопрос вы каждый раз получаете разные формулировки, а нажатие кнопки «Сгенерировать заново» может дать более удачный вариант.

Обучение: от генератора текста к полезному ассистенту

Предварительное обучение (Pre-training)

Сначала модель «прочитывает» гигантский массив текстов, обучаясь угадывать следующий токен. Согласно карточкам моделей от Meta, обучающая выборка для Llama 3.3 и 3.1 состояла из «нового набора общедоступных данных из сети» объемом свыше 15 триллионов токенов. Llama 4 обучалась на комбинации общедоступных и лицензированных данных, а также на информации из продуктов Meta: около 40 триллионов токенов для Scout и 22 триллионов для Maverick. В процессе этого чтения модель усваивает правила грамматики, факты, стили речи, программный код и логические цепочки — ведь всё это помогает ей точнее предсказывать текст.

Настройка инструкций (Instruction tuning)

Обычная базовая модель просто продолжает текст; она не умеет отвечать на вопросы как внимательный собеседник. Поэтому ее дополнительно обучают на примерах качественных диалогов, где на конкретный запрос дается грамотный ответ, а также привлекают людей для оценки результатов. В карточках моделей Llama 3.x эти этапы называются обучением с учителем (SFT) и обучением с подкреплением на основе отзывов человека (RLHF). В результате получается версия «Instruct», с которой вы и общаетесь в чате.

Дата отсечения знаний (Knowledge cut-off)

Обучающая база всегда ограничена определенной датой, и всё, что произошло позже, модели неизвестно. По данным карточек моделей Meta, для Llama 4 Maverick и Scout этой границей является август 2024 года, а для Llama 3.3 70B и Llama 3.1 8B — декабрь 2023 года. Если спросить модель о более поздних событиях, она либо признается, что не знает ответа, либо начнет придумывать. В нашем чате нет прямого выхода в интернет, чтобы восполнить этот пробел.

Контекст: оперативная память модели

Всё, что модель учитывает в момент составления ответа (системные инструкции, предыдущие реплики беседы и ваше новое сообщение), называется контекстом. Никакой другой памяти у нее нет. Когда вы открываете новый диалог, модель ничего не помнит о прошлых беседах.

Максимальный объем данных, доступный за раз, называется окном контекста и измеряется в токенах. В официальных характеристиках Meta заявлено 128K токенов для Llama 3.3 и 3.1, 1M для Llama 4 Maverick и 10M для Llama 4 Scout; используемый нами провайдер предоставляет около 524K для Maverick и около 1,3M для Scout. Чтобы ответы приходили быстро, наш чат отправляет в модель только часть истории беседы, поэтому в очень длинных диалогах самые первые сообщения со временем перестают влиять на ответы.

Смесь экспертов: архитектура Llama 4

Модели линейки Llama 3 — плотные (dense): для генерации каждого токена они задействуют абсолютно все параметры (числовые веса, настроенные при обучении). Llama 4 построена иначе — по принципу смеси экспертов (mixture-of-experts, MoE). Внутри нее работает множество специализированных подсетей («экспертов»), и для каждого отдельного токена включаются лишь некоторые из них. Карточка модели от Meta приводит следующие цифры: у Llama 4 Scout активно 17 миллиардов параметров из 109 миллиардов (всего 16 экспертов); у Llama 4 Maverick — 17 миллиардов активных параметров из 400 миллиардов (всего 128 экспертов). Это позволяет вместить колоссальный объем знаний, но тратить на обработку каждого токена заметно меньше вычислительных ресурсов, чем потребовала бы плотная модель аналогичного масштаба.

Кроме того, Llama 4 обладает нативной мультимодальностью. Meta использует технологию «раннего слияния» (early fusion): текст и изображения обрабатываются совместно в едином пространстве модели, а не через отдельную надстройку. Благодаря этому Maverick и Scout могут отвечать на вопросы по прикрепленным фотографиям, тогда как чисто текстовые модели Llama 3 на это не способны.

Почему модели выдумывают факты

Языковые модели создаются для того, чтобы генерировать убедительный, естественный текст, а не для проверки фактов на истинность. Если модель хорошо усвоила тему, убедительный ответ совпадает с правдой. Если же нужных знаний не хватает (редкая фамилия, точная цифра, недавнее событие или научная цитата), она всё равно напишет текст, звучащий абсолютно правдоподобно. Это явление принято называть галлюцинацией. Модель не пытается вас обмануть — у нее просто нет встроенного справочника, с которым можно было бы свериться.

• Чаще всего ошибки возникают в точных числах, датах, цитатах и ссылках на источники.
• Вопрос «ты уверен?» может заставить модель исправить реальную ошибку, а может — извиниться за абсолютно верный ответ. Полагаться на такую проверку нельзя.
• Если предоставить модели исходный текст и попросить опираться исключительно на него, количество выдумок резко снижается.

Почувствуйте разницу на двух примерах одного и того же запроса:

По памяти (ненадежно):
В каком году была основана библиотека в городе [мой город] и кто дал на нее деньги?

По источнику (надежно):
Опираясь только на текст ниже, укажи, когда была основана библиотека
и кто выделил средства. Если в тексте этого нет, напиши «в тексте не указано».
"""
[вставьте абзац с официального сайта библиотеки]
"""

В первом случае модель вряд ли встречала подробности о библиотеке в вашем городе и, скорее всего, уверенным тоном выдаст догадку. Во втором случае точные факты уже переданы в контекст, и модели остается только прочесть их. Наш инструмент суммаризации работает точно так же: он берет факты прямо из загруженного вами текста.

Пошаговый план работы с такими случаями описан в нашем руководстве по проверке ответов ИИ на достоверность.

Что это значит на практике

Хотите увидеть эти принципы в действии? Попросите Llama рассказать о себе. Научиться правильно формулировать запросы поможет статья о составлении промптов, а ближе познакомиться с самими моделями можно в материалах что такое Llama и история семейства моделей Llama.

Часто задаваемые вопросы

Понимает ли Llama смысл того, что пишет?

Всё зависит от того, какой смысл вкладывать в слово «понимать» — среди ученых на этот счет нет единого мнения. На практике модель отлично улавливает взаимосвязи между понятиями: она способна составлять краткие выжимки, переводить тексты и решать сложные логические задачи, но порой спотыкается на вещах, элементарных даже для ребенка. Оценивайте ее по результатам работы, а не по тому, насколько гладко звучит ее речь.

Обучается ли модель на моих диалогах?

Нет. Внутренние параметры модели не меняются во время вашего общения. В рамках одной беседы она использует написанное вами только как рабочий контекст; как только вы начнете новый чат, эти данные исчезнут.

В чем разница между Llama и ChatGPT?

Оба сервиса используют большие языковые модели, созданные на базе схожих технологий. Llama — это семейство моделей от Meta с открытыми весами, доступными по лицензии компании, благодаря чему любой желающий может скачать их и запустить у себя. ChatGPT — это готовое веб-приложение от компании OpenAI, работающее на базе ее собственных закрытых моделей. Подробнее об этом читайте в статье Llama против ChatGPT.

Что такое параметры модели?

Параметры — это числовые коэффициенты (веса) внутри нейросети, которые настраиваются в ходе обучения. Чем больше параметров, тем больше смысловых связей способна запомнить модель, но тем больше вычислительных мощностей нужно для ее работы. Впрочем, размер решает далеко не всё: качество обучающих данных и финальной настройки играет не меньшую роль.

Почему изображения поддерживаются не всеми моделями?

Llama 4 Maverick и Scout изначально обучались на связках текста и изображений. Модели Llama 3.3 70B и Llama 3.1 8B создавались исключительно для работы с текстом, поэтому «видеть» картинки они не умеют. Подробное сравнение всех четырех вариантов вы найдете в нашем руководстве по выбору подходящей модели Llama.