Como funcionam os grandes modelos de linguagem como o Llama

Quando você digita uma pergunta no chat, o Llama não pesquisa a resposta em lugar nenhum. Ele escreve a resposta, pedacinho por pedacinho, com base nos padrões que aprendeu durante o treinamento. Entender essa ideia explica a maior parte do que os modelos de linguagem grandes (LLMs) fazem bem e a maioria das falhas que eles apresentam. Este guia explica como eles funcionam, sem complicações matemáticas, usando os modelos Llama do nosso chat como exemplo.

Tokens: como um modelo lê textos

Os modelos de linguagem não enxergam letras nem palavras inteiras. O texto é dividido em tokens: uma palavra comum costuma ser um único token, palavras mais longas ou raras são divididas em pedaços, e a pontuação também conta. Cada token é transformado em uma lista de números com os quais o modelo consegue fazer cálculos.

Os tokens explicam certos comportamentos curiosos. Peça a um modelo para contar quantas vezes a letra "r" aparece em uma palavra longa, ou para soletrá-la de trás para frente, e ele pode errar, justamente porque nunca viu as letras separadas. Os tokens também são o motivo pelo qual os limites (quanto texto um modelo consegue ler ou o tamanho máximo de uma resposta) são medidos em tokens, e não em palavras. Idiomas que precisam de mais tokens por frase atingem esses limites mais rápido.

Previsão: um token de cada vez

No fundo, um LLM faz apenas uma coisa: com base no texto gerado até o momento, ele calcula a probabilidade de cada próximo token possível. Ele escolhe um, adiciona-o ao texto e repete o processo. Uma resposta longa nada mais é do que centenas ou milhares dessas etapas repetidas.

O modelo nem sempre escolhe o token com a maior probabilidade isolada. Uma dose controlada de aleatoriedade, geralmente ajustada por um parâmetro chamado temperatura, garante respostas variadas e naturais. É por isso que a mesma pergunta gera redações diferentes a cada tentativa e clicar em tentar novamente pode trazer uma resposta melhor.

Treinamento: de previsor de texto a assistente

Pré-treinamento

Primeiro, o modelo lê um volume colossal de texto e aprende a prever o próximo token. As fichas técnicas (model cards) da Meta descrevem os dados de pré-treinamento do Llama 3.3 e 3.1 como "uma nova combinação de dados públicos online" com mais de 15 trilhões de tokens. O Llama 4 foi treinado em uma combinação de dados públicos, conteúdos licenciados e informações dos produtos da Meta, somando cerca de 40 trilhões de tokens para o Scout e 22 trilhões para o Maverick. Ao longo desse processo, o modelo absorve gramática, fatos, estilos, código e padrões de raciocínio, já que tudo isso ajuda a fazer previsões mais precisas.

Ajuste de instruções (instruction tuning)

Um previsor puro apenas continua o texto; ele não responde perguntas de forma útil. Por isso, o modelo passa por um treinamento adicional com exemplos de instruções seguidas de respostas adequadas, além de receber feedback humano indicando quais respostas são melhores. As fichas técnicas da Meta para o Llama 3.x chamam essas etapas de ajuste fino supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF). O resultado é a versão "Instruct", que é com quem você conversa no chat.

A data de corte do conhecimento

Os dados de treinamento terminam em uma data específica, e o modelo não sabe nada do que aconteceu depois dela. De acordo com as fichas técnicas da Meta, a data de corte é agosto de 2024 para o Llama 4 Maverick e Scout, e dezembro de 2023 para o Llama 3.3 70B e Llama 3.1 8B. Se perguntar sobre eventos posteriores, o modelo dirá que não sabe ou, pior, tentará adivinhar. Nosso chat não tem acesso à web para preencher essa lacuna.

Contexto: a memória de trabalho do modelo

Tudo o que o modelo analisa enquanto formula uma resposta (as instruções, o histórico da conversa e a sua mensagem mais recente) compõe o seu contexto. Não existe nenhuma memória além disso. Ao iniciar uma nova conversa, o modelo não sabe nada sobre os seus chats anteriores.

O tamanho máximo permitido é a janela de contexto, medida em tokens. As fichas da Meta indicam 128 mil tokens para o Llama 3.3 e 3.1, 1 milhão para o Llama 4 Maverick e 10 milhões para o Llama 4 Scout; o provedor que utilizamos oferece cerca de 524 mil para o Maverick e cerca de 1,3 milhão para o Scout. Nosso chat envia um trecho menor de cada conversa para garantir respostas rápidas, por isso mensagens muito antigas em um chat longo podem parar de influenciar as respostas.

Mistura de especialistas: a arquitetura do Llama 4

Os modelos Llama 3 são densos: cada parâmetro (os números calibrados dentro do modelo) é ativado a cada token processado. O Llama 4 adota uma arquitetura de mistura de especialistas (Mixture of Experts - MoE). O modelo reúne várias sub-redes especializadas chamadas de especialistas, e para cada token apenas uma parte delas é acionada. A ficha técnica da Meta traz os números: o Llama 4 Scout conta com 17 bilhões de parâmetros ativos de um total de 109 bilhões, divididos em 16 especialistas; o Llama 4 Maverick tem 17 bilhões de parâmetros ativos de um total de 400 bilhões, com 128 especialistas. A grande vantagem é um modelo que armazena muito conhecimento, mas custa bem menos para rodar por token do que um modelo denso com o mesmo tamanho total.

O Llama 4 também é nativamente multimodal. A Meta descreve uma abordagem de "fusão precoce" (early fusion): texto e imagens são processados em conjunto dentro do mesmo modelo, sem módulos externos separados. É por isso que o Maverick e o Scout conseguem responder dúvidas sobre fotos enviadas por você, enquanto os modelos Llama 3, exclusivos para texto, não conseguem.

Por que os modelos inventam coisas

Um modelo de linguagem é treinado para gerar um texto verossímil, e não para checar se ele condiz com a realidade. Quando ele aprendeu bem um fato, o verossímil e o verdadeiro coincidem. Quando não aprendeu (um nome pouco conhecido, um número exato, um fato recente, uma citação acadêmica), ele ainda assim formula algo convincente. Chamamos isso de alucinação. Não se trata de má-fé: o modelo simplesmente não tem um banco de dados de fatos para consultar em separado.

• Números exatos, datas, citações e fontes são as informações com maior chance de erro.
• Perguntar "tem certeza?" pode fazer o modelo corrigir um erro real ou pedir desculpas por algo que estava totalmente certo. Não é uma forma confiável de validação.
• Fornecer o texto original ao modelo e pedir que ele trabalhe apenas com base nele costuma reduzir bastante os erros.

Veja a diferença prática entre dois tipos de comando:

De memória (mais arriscado):
Quando a biblioteca municipal de [minha cidade] foi fundada e quem financiou a obra?

A partir de uma fonte (mais seguro):
Usando apenas o texto abaixo, informe quando a biblioteca foi fundada e quem
a financiou. Se o texto não mencionar isso, responda "não informado".
"""
[cole aqui o parágrafo retirado do site oficial da biblioteca]
"""

No primeiro caso, o modelo provavelmente leu muito pouco ou nada sobre a biblioteca do seu município e pode inventar uma resposta com tom de certeza. No segundo, os fatos estão dentro do contexto dele, bastando interpretá-los. O resumidor opera da mesma forma: ele responde usando o texto que você fornece.

Nosso guia sobre como checar respostas de IA mostra como transformar isso em uma rotina prática.

O que isso significa na prática ao usar o chat

Para conferir esses conceitos na prática, peça ao Llama para explicar seu próprio funcionamento. Para aprender a estruturar comandos melhores, confira o guia de como escrever prompts; para saber mais sobre a tecnologia, veja o que é o Llama e conheça a história da família Llama.

Perguntas frequentes

O Llama realmente entende o que fala?

Tudo depende do que consideramos "entendimento", e os próprios pesquisadores divergem quanto a isso. Na prática, ele interpreta significados bem o bastante para resumir, traduzir e resolver problemas lógicos complexos, mas pode tropeçar em tarefas que até uma criança resolveria facilmente. Avalie o modelo pelo resultado das entregas, não pela naturalidade da escrita.

Ele aprende com o que eu converso?

Não. Os parâmetros internos do modelo não são alterados durante o uso. Ao longo de uma conversa, ele utiliza o que você enviou apenas como contexto de trabalho; assim que você inicia um novo chat, essas informações deixam de existir.

Qual a diferença entre o Llama e o ChatGPT?

Ambos utilizam modelos de linguagem grandes desenvolvidos com princípios semelhantes. O Llama é uma família de modelos criada pela Meta e disponibilizada com pesos abertos sob a licença da Meta, permitindo que qualquer pessoa faça o download e execute o modelo por conta própria. Já o ChatGPT é um aplicativo fechado da OpenAI, que roda os modelos da própria OpenAI como um serviço hospedado. Saiba mais no comparativo Llama vs ChatGPT.

O que são parâmetros?

São as variáveis numéricas internas do modelo ajustadas durante o treinamento. Ter mais parâmetros permite armazenar um volume maior de padrões, mas exige mais capacidade computacional. O tamanho isolado não define a qualidade: a seleção dos dados de treinamento e o ajuste fino pesam tanto quanto.

Por que só alguns modelos aceitam imagens?

O Llama 4 Maverick e o Scout foram treinados com textos e imagens integrados desde o início. Já o Llama 3.3 70B e o Llama 3.1 8B foram projetados apenas para processar texto e não conseguem ler arquivos visuais. Nosso guia sobre como escolher o modelo Llama ideal compara as quatro opções em detalhes.