Come funzionano i modelli linguistici di grandi dimensioni come Llama

Quando scrivi una domanda in chat, Llama non va a cercare la risposta da nessuna parte. La compone un pezzetto alla volta, basandosi sui pattern appresi durante l'addestramento. Comprendere questo singolo concetto spiega gran parte dei punti di forza e dei limiti dei modelli linguistici di grandi dimensioni (LLM). Questa guida spiega come funzionano, senza formule matematiche, usando come esempio i modelli Llama AI disponibili nella nostra chat.

I token: come un modello legge il testo

I modelli linguistici non vedono singole lettere o parole intere. Il testo viene suddiviso in token: una parola comune spesso corrisponde a un solo token, mentre i termini più lunghi o rari vengono spezzati in più parti; anche la punteggiatura conta. Ogni token viene poi convertito in una sequenza di numeri su cui il modello può eseguire calcoli.

I token spiegano alcuni comportamenti insoliti. Se chiedi a un modello quante volte compare la lettera "r" in una parola lunga, o di scriverla al contrario, potrebbe sbagliare: fin dall'inizio, infatti, non ha mai visto le lettere separate. È anche per via dei token che i limiti (quanto testo può leggere il modello o quanto può essere lunga una risposta) si misurano in token e non in parole. Le lingue che richiedono più token per frase raggiungono queste soglie più rapidamente.

Previsione: un token alla volta

In sostanza, un LLM fa una cosa sola: dato il testo elaborato finora, stima la probabilità di ogni possibile token successivo. Ne sceglie uno, lo aggiunge al testo e ripete il processo. Una risposta lunga non è altro che la successione di centinaia o migliaia di questi passaggi.

Il modello non sceglie sempre il token più probabile in assoluto. Un tocco controllato di casualità, regolato di solito da un parametro chiamato temperatura, rende le risposte più varie e naturali. Ecco perché la stessa domanda produce formulazioni diverse ogni volta e perché premere "rigenera" può farti ottenere una risposta migliore.

Addestramento: da generatore di testo ad assistente

Pre-addestramento (Pre-training)

Per prima cosa, il modello legge una quantità sterminata di testi e impara a prevedere il token successivo. Le schede tecniche di Meta descrivono i dati di pre-addestramento di Llama 3.3 e 3.1 come "un nuovo mix di dati online pubblicamente disponibili" per oltre 15 trilioni di token. Llama 4 è stato addestrato su un mix di dati pubblici, su licenza e provenienti dai prodotti di Meta: circa 40 trilioni di token per Scout e 22 trilioni per Maverick. Durante questo percorso il modello assimila grammatica, nozioni, stili, codice e schemi di ragionamento, poiché tutto ciò lo aiuta a fare previsioni più accurate.

Instruction tuning

Un generatore puro si limita a proseguire un testo: non risponde alle domande in modo utile. Per questo il modello viene perfezionato con esempi di istruzioni abbinate a risposte ottimali e con feedback umani che indicano quali risposte siano migliori. Nelle schede dei modelli Llama 3.x, Meta definisce questi passaggi fine-tuning supervisionato (SFT) e apprendimento per rinforzo da feedback umano (RLHF). Il risultato è la versione "Instruct" con cui chatti.

La data limite delle conoscenze (Knowledge cut-off)

I dati di addestramento si fermano a una data precisa, e il modello non sa nulla di ciò che è accaduto dopo. In base alle schede tecniche di Meta, la data limite è agosto 2024 per Llama 4 Maverick e Scout, e dicembre 2023 per Llama 3.3 70B e Llama 3.1 8B. Se chiedi informazioni su eventi successivi, il modello ammetterà di non saperlo o, peggio, proverà a tirare a indovinare. La nostra chat non ha accesso al web per colmare queste lacune.

Contesto: la memoria di lavoro del modello

Tutto ciò che il modello prende in considerazione mentre elabora una risposta (le istruzioni di sistema, la conversazione precedente e il tuo nuovo messaggio) forma il suo contesto. Non ha memoria al di fuori di questo spazio. Quando avvii una nuova chat, il modello non conserva alcun ricordo di quelle passate.

La capienza massima è la finestra di contesto, misurata in token. Le schede tecniche di Meta indicano 128K token per Llama 3.3 e 3.1, 1M per Llama 4 Maverick e 10M per Llama 4 Scout; il provider che utilizziamo offre circa 524K token per Maverick e circa 1,3M per Scout. La nostra chat invia una porzione più compatta di ciascuna conversazione per garantire risposte rapide: ecco perché i primi messaggi di una chat molto lunga possono smettere di influenzare le risposte successive.

Mixture of Experts: l'architettura di Llama 4

I modelli Llama 3 sono densi: ogni singolo parametro (i valori numerici appresi all'interno del modello) viene impiegato per ogni token. Llama 4 adotta invece una struttura Mixture of Experts (MoE). Il modello racchiude diverse sottoreti specializzate, chiamate esperti, e per ciascun token ne attiva solo alcune. La scheda tecnica di Meta riporta i dati: Llama 4 Scout ha 17 miliardi di parametri attivi su 109 miliardi totali, con 16 esperti; Llama 4 Maverick conta 17 miliardi di parametri attivi su 400 miliardi, con 128 esperti. Il vantaggio è un modello che racchiude un'enorme quantità di conoscenze ma risulta molto più leggero ed economico da eseguire per singolo token rispetto a un modello denso di pari dimensioni complessive.

Llama 4 è anche nativamente multimodale. Meta parla di "early fusion": testo e immagini vengono elaborati insieme all'interno dello stesso modello, anziché tramite un modulo aggiuntivo separato. È per questo che Maverick e Scout possono rispondere a domande su una foto allegata, mentre i modelli Llama 3, basati solo sul testo, non possono farlo.

Perché i modelli inventano le cose

Un modello linguistico è addestrato a generare un testo plausibile, non a verificarne la veridicità. Quando ha assimilato bene un concetto, plausibile e vero coincidono. Quando non lo conosce a fondo (un nome raro, una cifra precisa, un fatto recente, una citazione), produce comunque qualcosa che suona convincente. Questo fenomeno è noto come allucinazione. Non si tratta di bugie intenzionali: il modello semplicemente non ha un database di fatti separato da consultare.

• Numeri esatti, date, citazioni e fonti sono gli elementi più soggetti a errori.
• Chiedere "sei sicuro?" può spingerlo a correggersi, oppure a scusarsi per qualcosa che invece era esatto. Non è un metodo di verifica affidabile.
• Fornire al modello il testo di partenza chiedendogli di basarsi solo su quello riduce drasticamente gli errori.

Puoi notare la differenza confrontando due varianti della stessa richiesta:

A memoria (più rischioso):
In che anno è stata fondata la biblioteca civica di [mia città] e chi l'ha finanziata?

Basato su una fonte (più sicuro):
Usa esclusivamente il testo qui sotto per indicare l'anno di fondazione della biblioteca e chi l'ha finanziata. Se l'informazione non è presente, rispondi "non specificato".
"""
[incolla il paragrafo dal sito ufficiale della biblioteca]
"""

Nel primo caso il modello ha probabilmente letto pochissimo o nulla sulla tua biblioteca locale, quindi rischia di tirare a indovinare con sicurezza. Nel secondo, le informazioni si trovano direttamente nel contesto: deve solo leggerle. Lo strumento di riassunto funziona nello stesso modo: elabora le risposte partendo dal testo che fornisci tu.

La nostra guida su come verificare le risposte dell'IA trasforma questo approccio in un metodo pratico.

Cosa significa tutto questo quando usi la chat

Per vedere questi concetti all'opera, chiedi a Llama di spiegare come funziona. Per affinare le istruzioni, scopri come scrivere prompt efficaci; se vuoi approfondire i modelli, leggi cos'è Llama AI e la storia della famiglia Llama.

FAQ

Llama capisce davvero quello che scrive?

Dipende da cosa si intende per "capire", e i ricercatori hanno pareri discordanti. All'atto pratico gestisce il significato abbastanza bene da riassumere, tradurre e risolvere molti problemi logici; eppure può inciampare su compiti banali per un bambino. Valutalo esaminando i risultati, non basandoti sulla fluidità del linguaggio.

Impara dalle mie conversazioni?

No. I parametri interni del modello non cambiano mentre chatti. All'interno della stessa sessione usa i tuoi messaggi come contesto; non appena avvii una nuova chat, quel contesto viene azzerato.

Che differenza c'è tra Llama e ChatGPT?

Entrambi si basano su modelli linguistici di grandi dimensioni con principi di funzionamento simili. Llama è una famiglia di modelli creata da Meta e distribuita a pesi aperti con licenza Meta, accessibile a chiunque voglia scaricarla ed eseguirla; ChatGPT è l'applicazione di OpenAI, che offre i propri modelli proprietari come servizio online. Leggi il confronto completo su Llama vs ChatGPT.

Cosa sono i parametri?

Sono i valori numerici interni del modello che vengono calibrati durante l'addestramento. Un numero maggiore di parametri permette di memorizzare più schemi, ma richiede una potenza di calcolo superiore. Le dimensioni da sole non determinano la qualità finale: anche i dati di addestramento e l'ottimizzazione contano moltissimo.

Perché solo alcuni modelli accettano immagini?

Llama 4 Maverick e Scout sono stati addestrati fin dall'inizio sia su testo sia su immagini. Llama 3.3 70B e Llama 3.1 8B elaborano solo testo, quindi non possono analizzare immagini. La nostra guida su come scegliere il modello Llama ideale mette a confronto tutte e quattro le opzioni.