Så fungerar stora språkmodeller som Llama

När du skriver en fråga i chatten slår Llama inte upp svaret någonstans. Den skapar svaret en liten bit i taget, baserat på mönster den lärde sig under träningen. Förstår du den principen förstår du också det mesta som stora språkmodeller (LLM) är bra på – och varför de ibland misslyckas. Den här guiden går igenom hur de fungerar, helt utan matematik, med Llama-modellerna i vår chatt som exempel.

Tokens: så läser modellen text

Språkmodeller ser inte bokstäver eller hela ord. Text delas upp i tokens: ett vanligt ord blir ofta en enda token, längre eller ovanligare ord delas upp i flera bitar, och skiljetecken räknas också. Varje token omvandlas till en rad siffror som modellen kan göra beräkningar på.

Tokens förklarar en del märkliga beteenden. Om du ber en modell räkna hur många gånger bokstaven "r" finns i ett långt ord, eller stava ett ord baklänges, kan den svara fel – helt enkelt för att den aldrig såg de enskilda bokstäverna från början. Tokens är också anledningen till att begränsningar (hur mycket text modellen kan läsa och hur långt svaret kan bli) mäts i just tokens snarare än ord. Språk som kräver fler tokens per mening når gränserna snabbare.

Förutsägelser: en token i taget

I grund och botten gör en LLM bara en sak: utifrån den text den sett hittills beräknar den sannolikheten för varje tänkbar nästa token. Den väljer en, lägger till den i texten och upprepar processen. Ett långt svar består av hundratals eller tusentals sådana steg.

Modellen väljer inte alltid den allra mest sannolika tokenen. En viss kontrollerad slumpmässighet, som styrs av en parameter som kallas temperatur, gör svaren mer varierade och naturliga. Det är därför samma fråga kan ge olika formuleringar varje gång, och varför du kan få ett bättre svar genom att klicka på återskapa.

Träning: från textprediktion till assistent

Förträning

Först läser modellen enorma mängder text och lär sig att förutsäga nästa token. Metas modellkort beskriver förträningsdatan för Llama 3.3 och 3.1 som "en ny mix av offentligt tillgänglig onlinedata" på över 15 biljoner tokens. Llama 4 tränades på en blandning av offentlig och licensierad data samt information från Metas egna produkter – cirka 40 biljoner tokens för Scout och 22 biljoner för Maverick. Under processen snappar modellen upp grammatik, fakta, stilar, kod och logiska mönster, eftersom allt detta hjälper den att göra bättre förutsägelser.

Instruktionsträning

En ren textprediktor fortsätter bara att fylla på text; den ger inte hjälpsamma svar på frågor. Därför tränas modellen vidare på exempel med instruktioner och bra svar, och med feedback från människor om vilka svar som fungerar bäst. Metas modellkort för Llama 3.x kallar dessa steg för supervised fine-tuning (SFT) och reinforcement learning with human feedback (RLHF). Resultatet blir den "Instruct"-version som du chattar med.

Kunskapsgränsen

Träningsdatan har ett slutdatum, och därefter vet modellen ingenting. Enligt Metas modellkort är gränsen augusti 2024 för Llama 4 Maverick och Scout, och december 2023 för Llama 3.3 70B och Llama 3.1 8B. Frågar du om något som hänt senare säger modellen antingen att den inte vet eller, ännu värre, gissar. Vår chatt har inte tillgång till webben för att täppa till den luckan.

Kontext: modellens arbetsminne

Allt som modellen tar hänsyn till när den formulerar ett svar (instruktionerna, samtalet hittills och ditt senaste meddelande) kallas för dess kontext. Den har inget minne utöver detta. När du startar en ny chatt vet modellen ingenting om dina tidigare konversationer.

Den maximala gränsen kallas kontextfönster och mäts i tokens. Metas modellkort anger 128K tokens för Llama 3.3 och 3.1, 1M för Llama 4 Maverick och 10M för Llama 4 Scout; leverantören vi använder erbjuder cirka 524K för Maverick och cirka 1,3M för Scout. För att hålla svarstiderna korta skickar vår chatt bara med en del av samtalet, vilket gör att mycket tidiga meddelanden i en lång konversation kan sluta påverka svaren.

Mixture of experts: så är Llama 4 uppbyggd

Llama 3-modellerna är täta ("dense"): varje parameter (de inlärda talen inuti modellen) aktiveras för varje token. Llama 4 använder istället en mixture-of-experts-arkitektur. Modellen innehåller många specialiserade delnätverk, så kallade experter, och för varje token används bara ett urval av dem. Metas modellkort visar siffrorna: Llama 4 Scout har 17 miljarder aktiva parametrar av 109 miljarder totalt, med 16 experter; Llama 4 Maverick har 17 miljarder aktiva av 400 miljarder, med 128 experter. Fördelen är en modell som rymmer enormt mycket kunskap men är billigare att köra per token än en tät modell av samma storlek.

Llama 4 är också inbyggt multimodal. Meta kallar det "tidig fusion": text och bilder bearbetas tillsammans i en och samma modell snarare än via ett separat tillägg. Det är därför Maverick och Scout kan svara på frågor om bilder du laddar upp, medan de rena textmodellerna i Llama 3 inte kan det.

Varför modeller hittar på saker

En språkmodell är tränad att skapa text som låter trovärdig, inte att faktagranska den. När den har lärt sig ett faktum väl sammanfaller trovärdigt och sant. Men när den inte har det (ett ovanligt namn, ett exakt tal, en färsk händelse, en källhänvisning) skapar den ändå något som låter rimligt. Detta brukar kallas för hallucinationer. Modellen ljuger inte med flit – den har helt enkelt ingen separat faktadatabas att slå upp saker i.

• Exakta siffror, datum, citat och referenser är det som oftast blir fel.
• Frågan "är du säker?" kan leda till en rättelse, men också till en ursäkt för något som faktiskt stämde. Det är inget pålitligt test.
• Att ge modellen källtexten och be den att enbart utgå från den minskar oftast felen rejält.

Du ser skillnaden tydligt mellan två varianter av samma förfrågan:

Ur minnet (mer riskabelt):
När grundades stadsbiblioteket i [min stad], och vem finansierade det?

Från en källa (säkrare):
Svara på när biblioteket grundades och vem som finansierade det enbart
utifrån texten nedan. Om texten inte nämner det, svara "framgår inte".
"""
[klistra in texten från bibliotekets egen webbplats]
"""

I det första fallet har modellen troligen inte sett särskilt mycket om ditt lokala bibliotek och kan komma med en självsäker gissning. I det andra fallet finns fakta direkt i kontexten, så modellen behöver bara läsa av den. Vår sammanfattare fungerar på samma sätt: den svarar utifrån den text du ger den.

Vår guide om att faktagranska AI-svar ger dig en praktisk metod för detta.

Vad det här innebär när du chattar

Vill du se hur det fungerar i praktiken kan du be Llama förklara sig själv. För tips om hur du formulerar dig, läs så skriver du bra prompter; för mer om själva modellerna, se vad Llama är och Llama-familjens historia.

Vanliga frågor

Förstår Llama vad den säger?

Det beror på vad du menar med att "förstå", och forskarna är inte eniga. I praktiken hanterar den innebörden i text tillräckligt bra för att sammanfatta, översätta och resonera kring många problem, men den kan samtidigt misslyckas med saker som ett barn klarar galant. Bedöm resultatet genom att granska innehållet, inte efter hur vältalig den verkar.

Lär sig modellen av mina konversationer?

Nej. Modellens parametrar ändras inte medan du chattar. Inom en och samma konversation används det du skrivit som kontext; så fort du startar en ny chatt är den kontexten borta.

Vad är skillnaden mellan Llama och ChatGPT?

Båda bygger på stora språkmodeller med liknande grundprinciper. Llama är en modellfamilj skapad av Meta med öppna vikter under Metas licens, vilket innebär att vem som helst kan ladda ner och köra dem. ChatGPT är OpenAIs tjänst, som kör OpenAIs egna modeller i en stängd miljö. Se Llama vs ChatGPT.

Vad är parametrar?

Det är de numeriska värdena inuti modellen som justeras under träningen. Fler parametrar kan lagra fler mönster, men kräver också mer beräkningskraft. Storleken avgör dock inte allt – träningsdatan och finjusteringen spelar minst lika stor roll.

Varför tar bara vissa modeller emot bilder?

Llama 4 Maverick och Scout tränades på text och bild tillsammans. Llama 3.3 70B och Llama 3.1 8B är rena textmodeller och kan därför inte tolka bilder. Vår guide om att välja rätt Llama-modell jämför alla fyra.