Como rodar o Llama localmente

Por que rodar o Llama no seu próprio computador

Os pesos do Llama são disponibilizados pela Meta. Por isso, ao contrário de chatbots fechados, você pode baixar um modelo Llama e executá-lo na sua própria máquina. Depois de baixado, ele funciona offline, seus prompts nunca saem do computador e não há limites de mensagens ou cobranças por token. A contrapartida é o hardware: modelos maiores exigem muita memória, e um notebook responderá mais devagar que um servidor na nuvem.

Este guia aborda as três ferramentas mais comuns, da mais simples à mais avançada: Ollama, LM Studio e llama.cpp. Se você só quer testar o Llama, nosso chat gratuito do Llama não exige nenhuma instalação.

Escolha um modelo compatível com a sua máquina

A escolha mais importante é o tamanho do modelo. Uma regra básica: você precisa de pelo menos tanta memória livre (memória da placa de vídeo ou memória unificada no Apple silicon) quanto o tamanho do arquivo do modelo, além de um espaço extra para a conversa. Se o modelo não couber, ele não vai carregar ou rodará de forma muito lenta usando a memória RAM convencional do sistema.

Estes são os tamanhos de download que o Ollama lista para as versões padrão de cada modelo Llama. São arquivos comprimidos (quantizados), que é como a maioria das pessoas roda modelos em casa.

Se tiver dúvidas, comece pelo Llama 3.1 8B. Ele é leve o bastante para vários notebooks recentes e capaz o suficiente para ser muito útil. A própria documentação da Meta para o Llama 4 Scout indica que ele cabe em uma única GPU de data center H100 com quantização Int4, o que dá uma ideia da escala dos modelos Llama 4.

Opção 1: Ollama (a mais fácil)

O Ollama é um aplicativo que baixa e executa modelos com um único comando, mantendo-os prontos para uso posterior.

1. Instale o Ollama pelo site oficial.
2. Abra o terminal e execute ollama run llama3.1. A primeira execução baixa o modelo; depois disso, ele inicia em segundos.
3. Digite sua pergunta no terminal e pressione Enter.

Outros modelos Llama funcionam do mesmo jeito, por exemplo: ollama run llama3.2 ou ollama run llama4:scout. As páginas da biblioteca do Ollama para o Llama 3.1, Llama 3.2 e Llama 4 listam todos os tamanhos disponíveis. Na página do Llama 4, o Ollama indica o Scout com janela de contexto de 10M e o Maverick com 1M, ambos aceitando texto e imagens.

O Ollama também roda um servidor local, permitindo que seus próprios scripts usem o modelo. Uma requisição de chat funciona assim:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explique recursão em duas frases."}]
}'

Opção 2: LM Studio (aplicativo desktop)

O LM Studio é um aplicativo desktop gratuito com interface visual de chat, dispensando o uso do terminal.

1. Baixe o LM Studio para o seu sistema operacional e abra-o.
2. Abra a aba Discover, pesquise por "Llama" e baixe uma versão compatível com a sua memória.
3. Vá para a aba Chat, selecione o modelo no menu superior e comece a conversar.

O LM Studio também pode funcionar como um servidor local compatível com o formato da API da OpenAI, por padrão em http://localhost:1234/v1. Muitas ferramentas prontas podem se conectar a esse endereço em vez de um serviço na nuvem. Consulte o guia de introdução do LM Studio e a documentação do servidor compatível com OpenAI.

Opção 3: llama.cpp (controle total)

O llama.cpp é o motor de código aberto que alimenta muitas ferramentas locais de IA. Usá-lo diretamente oferece o maior controle sobre os ajustes de desempenho. Ele roda modelos no formato GGUF, suporta quantização de 1.5-bit a 8-bit para reduzir o tamanho dos modelos e tem suporte de primeira classe ao Apple silicon.

1. Instale a ferramenta. O README do projeto oferece instaladores de uma linha: curl -LsSf https://llama.app/install.sh | sh no macOS e Linux, ou irm https://llama.app/install.ps1 | iex no Windows PowerShell.
2. Converse pelo terminal com um modelo GGUF do Hugging Face: llama cli -hf <user>/<repo>.
3. Ou inicie um servidor local compatível com a API da OpenAI: llama serve -hf <user>/<repo>.

Substitua o espaço reservado pelo repositório do Hugging Face da versão GGUF do modelo Llama desejado. Leia a descrição do repositório para conferir qual quantização cada arquivo utiliza; arquivos menores exigem menos memória, mas perdem um pouco de qualidade.

Opção 4: os pesos originais da Meta

Desenvolvedores que precisam dos pesos com precisão total podem baixá-los nas páginas da Meta no Hugging Face, como o Llama 3.1 8B Instruct ou o Llama 4 Scout. Esses repositórios têm acesso restrito: é necessário fazer login e aceitar a licença na página do modelo antes de liberar os arquivos. Os cards dos modelos incluem exemplos de código para a biblioteca Hugging Face Transformers. Pesos com precisão total exigem muito mais memória do que as versões quantizadas acima, portanto esse caminho é voltado principalmente para servidores e fine-tuning.

Dicas para começar sem problemas

• Comece aos poucos. Teste um modelo 8B ou 3B primeiro. Só migre para um maior se as respostas não forem suficientes e seu hardware aguentar.
• Feche outros programas pesados. Navegadores com muitas abas abertas e jogos disputam a mesma memória.
• Controle o tamanho do contexto. Conversas muito longas consomem mais memória e deixam as respostas lentas. Inicie um novo chat para mudar de assunto.
• Use um system prompt. Definir o papel do modelo e o estilo de resposta desejado ajuda bastante os modelos menores. Nossa biblioteca de prompts traz várias ideias.
• Fique atento à licença. Rodar o modelo para uso pessoal é simples, mas se for criar um produto comercial, consulte nosso guia da licença do Llama.
• Espere uma base de conhecimento limitada no tempo. Modelos locais não pesquisam na web. O conhecimento da série Llama 3.x vai até dezembro de 2023, e o do Llama 4 até agosto de 2024.

Local ou online: qual escolher?

Rode o Llama localmente quando a privacidade, o uso offline ou a alta demanda diária forem prioridade sobre a praticidade, e você tiver o hardware adequado. Use o chat online quando quiser acessar os modelos maiores do Llama 4 sem precisar de um computador potente, ou se quiser apenas experimentar o Llama AI. Você também pode integrar o Llama ao seu código via provedores de nuvem; nosso guia da API do Llama explica como fazer isso.

Experimente o Llama 4 Maverick online primeiro

Perguntas frequentes

Posso rodar o Llama sem uma placa de vídeo?

Sim, modelos pequenos como o Llama 3.2 3B e o Llama 3.1 8B rodam no processador convencional, apenas de forma mais lenta. Modelos maiores são inviáveis sem uma boa GPU ou bastante memória unificada.

Rodar o Llama localmente é gratuito?

Os programas citados e os pesos do Llama podem ser baixados gratuitamente. Seu único custo será com o hardware e a energia elétrica.

Um modelo Llama local consegue processar imagens?

O Llama 4 Scout e o Maverick aceitam imagens, assim como os modelos Llama 3.2 Vision. Os modelos de texto 1B, 3B e 8B processam apenas texto.

Qual ferramenta é a melhor para iniciantes?

O LM Studio, se você prefere a interface visual de um aplicativo desktop; ou o Ollama, se não se importar em digitar um comando no terminal.