Come eseguire Llama in locale

Perché eseguire Llama sul tuo computer

I pesi di Llama sono rilasciati da Meta, quindi a differenza dei chatbot proprietari puoi scaricare un modello Llama ed eseguirlo direttamente sulla tua macchina. Una volta scaricato, funziona offline, i tuoi prompt non lasciano mai il computer e non ci sono limiti di messaggi né costi per token. Il compromesso è l'hardware: i modelli più grandi richiedono molta memoria e un portatile risponderà più lentamente rispetto a un server cloud.

Questa guida presenta i tre strumenti più diffusi, dal più semplice al più avanzato: Ollama, LM Studio e llama.cpp. Se vuoi solo provare Llama, la nostra chat gratuita con Llama non richiede alcuna installazione.

Scegli un modello adatto alla tua macchina

La scelta più importante è la dimensione del modello. Una regola generale: ti serve almeno tanta memoria libera (memoria della scheda video o memoria unificata sui chip Apple silicon) quanto pesa il file del modello, più un margine extra per la conversazione. Se il modello non ci sta, rifiuterà di caricarsi oppure girerà molto lentamente usando la normale memoria di sistema.

Queste sono le dimensioni di download indicate da Ollama per le versioni predefinite di ciascun modello Llama. Sono file compressi (quantizzati), il formato più comune per eseguire modelli a casa.

Se hai dubbi, inizia con Llama 3.1 8B. È abbastanza leggero per molti portatili recenti e abbastanza potente da risultare utile. La scheda ufficiale di Meta per Llama 4 Scout indica che può essere ospitato su una singola GPU per data center H100 con quantizzazione Int4, il che dà un'idea della scala dei modelli Llama 4.

Opzione 1: Ollama (la più semplice)

Ollama è un'applicazione che scarica ed esegue modelli con un solo comando, tenendoli pronti all'uso.

1. Installa Ollama dal sito ufficiale.
2. Apri un terminale ed esegui ollama run llama3.1. Al primo avvio scaricherà il modello; in seguito partirà in pochi secondi.
3. Scrivi la tua domanda nel prompt e premi Invio.

Gli altri modelli Llama funzionano allo stesso modo, ad esempio con ollama run llama3.2 o ollama run llama4:scout. Le pagine della libreria di Ollama per Llama 3.1, Llama 3.2 e Llama 4 elencano tutte le dimensioni disponibili. Nella pagina di Llama 4, Ollama indica per Scout una finestra di contesto da 10M e per Maverick da 1M, entrambi con supporto per testo e immagini.

Ollama include anche un server locale per integrare il modello nei tuoi script. Una richiesta di chat si presenta così:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Spiega la ricorsione in due frasi."}]
}'

Opzione 2: LM Studio (un'app desktop)

LM Studio è un'app desktop gratuita con un'interfaccia di chat, perfetta per fare tutto senza aprire il terminale.

1. Scarica LM Studio per il tuo sistema operativo e aprilo.
2. Apri la scheda Discover, cerca "Llama" e scarica una versione compatibile con la tua memoria.
3. Vai alla scheda Chat, seleziona il modello nel selettore in alto e inizia a chattare.

LM Studio può anche funzionare come server locale compatibile con il formato delle API di OpenAI, di default su http://localhost:1234/v1. Molti strumenti esistenti possono puntare a questo indirizzo invece che a un servizio cloud. Consulta la guida introduttiva di LM Studio e la documentazione del server compatibile con OpenAI.

Opzione 3: llama.cpp (massimo controllo)

llama.cpp è il motore open source alla base di molti strumenti di IA locale. Usarlo direttamente ti garantisce il massimo controllo sui parametri di prestazione. Esegue modelli in formato GGUF, supporta la quantizzazione da 1,5 bit a 8 bit per ridurre le dimensioni dei file ed è ottimizzato nativamente per Apple silicon.

1. Installalo. Il file README del progetto include comandi rapidi di installazione: curl -LsSf https://llama.app/install.sh | sh su macOS e Linux, oppure irm https://llama.app/install.ps1 | iex in Windows PowerShell.
2. Avvia una chat da terminale con un modello GGUF da Hugging Face: llama cli -hf <user>/<repo>.
3. Oppure avvia un server locale compatibile con OpenAI: llama serve -hf <user>/<repo>.

Sostituisci il segnaposto con il repository Hugging Face della versione GGUF del modello Llama desiderato. Leggi la descrizione del repository per verificare quale quantizzazione usa ciascun file: file più piccoli richiedono meno memoria ma sacrificano un po' di qualità.

Opzione 4: i pesi originali di Meta

Gli sviluppatori che desiderano i pesi a piena precisione possono scaricarli dalle pagine di Meta su Hugging Face, come Llama 3.1 8B Instruct o Llama 4 Scout. Questi repository hanno l'accesso regolamentato: devi accedere e accettare la licenza sulla pagina del modello prima di poter sbloccare i file. Le schede dei modelli includono codice di esempio per la libreria Transformers di Hugging Face. I pesi a piena precisione richiedono molta più memoria rispetto alle versioni quantizzate descritte sopra, quindi questa opzione è pensata soprattutto per server e fine-tuning.

Consigli per iniziare al meglio

• Inizia dal piccolo. Prova prima un modello da 8B o 3B. Passa a quelli superiori solo se le risposte non ti soddisfano e il tuo hardware lo consente.
• Chiudi le app pesanti. I browser con molte schede e i videogiochi competono per la stessa memoria.
• Non esagerare con il contesto. Conversazioni molto lunghe consumano più memoria e rallentano le risposte. Avvia una nuova chat per ogni nuovo argomento.
• Usa un prompt di sistema. Indicare al modello il suo ruolo e lo stile di risposta desiderato aiuta enormemente i modelli compatti. La nostra libreria di prompt offre molti spunti utili.
• Attenzione alla licenza. Usare un modello per scopi personali è semplicissimo, ma se stai sviluppando un prodotto commerciale, consulta la nostra guida alla licenza di Llama.
• Tieni conto dei limiti di aggiornamento. I modelli locali non effettuano ricerche sul web. Le conoscenze di Llama 3.x si fermano a dicembre 2023, quelle di Llama 4 ad agosto 2024.

In locale o online: cosa scegliere

Esegui Llama in locale se la privacy, l'uso offline o un utilizzo intensivo quotidiano contano più della comodità, e se disponi dell'hardware adatto. Scegli una chat online se vuoi provare i modelli più grandi di Llama 4 senza dover acquistare hardware potente, o semplicemente per fare una prova veloce. Puoi anche integrare Llama via codice tramite provider cloud; la nostra guida alle API di Llama spiega come fare.

Prova prima Llama 4 Maverick online

Domande frequenti

Posso eseguire Llama senza una scheda video dedicata?

Sì, modelli leggeri come Llama 3.2 3B e Llama 3.1 8B possono girare su una normale CPU, solo un po' più lentamente. Modelli più pesanti risultano invece poco pratici senza una GPU potente o una grande quantità di memoria unificata.

Eseguire Llama in locale è gratis?

I software citati e i pesi di Llama sono scaricabili gratuitamente. Gli unici costi sono quelli del tuo hardware e dell'energia elettrica.

Un modello Llama locale può analizzare le immagini?

Llama 4 Scout e Maverick supportano le immagini, così come i modelli Vision di Llama 3.2. I modelli puramente testuali da 1B, 3B e 8B non lo fanno.

Quale strumento dovrebbe scegliere un principiante?

LM Studio se preferisci un'applicazione desktop con interfaccia grafica; Ollama se non hai problemi a digitare un comando nel terminale.