Hoe grote taalmodellen zoals Llama werken

Wanneer je een vraag in de chat typt, zoekt Llama het antwoord nergens op. Het model genereert het antwoord stukje bij beetje, op basis van patronen die het tijdens de training heeft geleerd. Dit ene basisprincipe verklaart vrijwel alles wat grote taalmodellen (LLM's) goed doen én waar het misgaat. In deze gids leggen we zonder wiskunde uit hoe ze werken, aan de hand van de Llama-modellen in onze chat.

Tokens: hoe een model tekst leest

Taalmodellen zien geen losse letters of hele woorden. Tekst wordt opgeknipt in tokens: een veelvoorkomend woord is vaak één token, langere of zeldzamere woorden worden in stukjes verdeeld, en leestekens tellen ook mee. Elk token wordt omgezet in een reeks getallen waarmee het model kan rekenen.

Tokens verklaren een aantal eigenaardigheden. Vraag een model hoe vaak de letter "r" voorkomt in een lang woord, of laat het een woord achterstevoren spellen, en de kans is groot dat het misgaat. Het model heeft de afzonderlijke letters immers nooit als zodanig gezien. Tokens zijn ook de reden waarom limieten (hoeveel tekst een model kan lezen, hoe lang een antwoord kan zijn) worden gemeten in tokens in plaats van woorden. Talen die meer tokens per zin nodig hebben, bereiken die limieten sneller.

Voorspelling: token voor token

In de kern doet een LLM maar één ding: op basis van de tekst tot nu toe berekent het hoe waarschijnlijk elk mogelijk volgend token is. Het kiest er één, voegt dat toe aan de tekst en herhaalt het proces. Een lang antwoord bestaat uit honderden of duizenden van deze stappen.

Het model kiest niet altijd het allermeest waarschijnlijke token. Een gecontroleerde dosis willekeur, ingesteld met een parameter genaamd temperature, zorgt voor gevarieerde en natuurlijk klinkende antwoorden. Daarom levert dezelfde vraag steeds een net iets andere formulering op, en kan opnieuw genereren een beter antwoord opleveren.

Training: van tekstvoorspeller tot assistent

Pre-training

Eerst leest het model een gigantische hoeveelheid tekst om het volgende token te leren voorspellen. Meta's model cards omschrijven de pre-trainingdata voor Llama 3.3 en 3.1 als "een nieuwe mix van publiek beschikbare online data" van meer dan 15 biljoen (trillion) tokens. Llama 4 is getraind op een mix van openbare data, gelicentieerde data en gegevens uit Meta's eigen producten: ongeveer 40 biljoen tokens voor Scout en 22 biljoen voor Maverick. Al lezende leert het model grammatica, feiten, schrijfstijlen, code en redeneerpatronen, simpelweg omdat al die kennis helpt om beter te voorspellen.

Instruction tuning

Een puur voorspelmodel borduurt alleen voort op tekst; het geeft nog geen behulpzame antwoorden op vragen. Daarom wordt het model verder getraind op voorbeelden van instructies met goede antwoorden, en op feedback van mensen over welke reacties de voorkeur hebben. Meta noemt deze stappen in de Llama 3.x model cards supervised fine-tuning (SFT) en reinforcement learning with human feedback (RLHF). Het resultaat is de "Instruct"-versie waarmee je chat.

De kennisgrens (knowledge cut-off)

De trainingsdata loopt tot een specifieke datum, en het model weet niets over wat daarna is gebeurd. Volgens Meta's model cards ligt de cut-off op augustus 2024 voor Llama 4 Maverick en Scout, en op december 2023 voor Llama 3.3 70B en Llama 3.1 8B. Vraag je naar recentere gebeurtenissen, dan geeft het model aan het niet te weten of, erger nog, gaat het gokken. Onze chat heeft geen internettoegang om die gaten op te vullen.

Context: het werkgeheugen van het model

Alles wat het model meeneemt tijdens het formuleren van een antwoord (de instructies, het eerdere gesprek en je nieuwe bericht) noemen we de context. Buiten deze context heeft het model geen geheugen. Zodra je een nieuwe chat start, weet het niets meer van je eerdere gesprekken.

De maximale capaciteit is het context window, uitgedrukt in tokens. Meta's model cards vermelden 128K tokens voor Llama 3.3 en 3.1, 1M voor Llama 4 Maverick en 10M voor Llama 4 Scout. De provider die wij gebruiken ondersteunt ongeveer 524K voor Maverick en zo'n 1,3M voor Scout. Onze chat stuurt steeds een kleiner deel van het gesprek mee om antwoorden snel te houden; daardoor kunnen hele vroege berichten in een lange chat hun invloed op latere reacties verliezen.

Mixture of experts: de architectuur van Llama 4

Llama 3-modellen zijn "dense": elke parameter (de getallen in het model die tijdens de training zijn gevormd) wordt voor elk token gebruikt. Llama 4 gebruikt daarentegen een mixture-of-experts-architectuur. Het model bevat allerlei gespecialiseerde subnetwerken ("experts"), en voor elk token wordt slechts een deel daarvan ingeschakeld. Meta's model card toont de cijfers: Llama 4 Scout heeft 17 miljard actieve parameters van de 109 miljard in totaal, verdeeld over 16 experts; Llama 4 Maverick heeft 17 miljard actieve van de 400 miljard, verdeeld over 128 experts. Het voordeel is een model dat enorm veel kennis bevat, maar per token veel minder rekenkracht vereist dan een dense model van vergelijkbare omvang.

Daarnaast is Llama 4 van nature multimodaal. Meta noemt dit "early fusion": tekst en afbeeldingen worden samen in één model verwerkt in plaats van via een losse toevoeging. Hierdoor kunnen Maverick en Scout vragen beantwoorden over een foto die je uploadt, terwijl de zuivere tekstmodellen van Llama 3 dat niet kunnen.

Waarom modellen dingen verzinnen

Een taalmodel is getraind om aannemelijke tekst te produceren, niet om te controleren of die tekst klopt. Als het een feit goed heeft geleerd, vallen "aannemelijk" en "waar" samen. Maar als dat niet zo is (bij een zeldzame naam, een exact getal, een recent nieuwsfeit of een bronvermelding), produceert het nog steeds iets wat logisch klinkt. Dit fenomeen heet hallucinatie. Het model liegt niet met opzet: het heeft simpelweg geen externe database met feiten om te raadplegen.

• Exacte getallen, data, citaten en bronnen zijn het vaakst onjuist.
• Vragen "weet je dit zeker?" kan leiden tot een correctie, maar net zo goed tot excuses voor iets wat wél klopte. Het is geen betrouwbare controle.
• Geef het model de brontekst en vraag om uitsluitend op basis daarvan te antwoorden; dit vermindert fouten aanzienlijk.

Het verschil zie je goed bij deze twee varianten van hetzelfde verzoek:

Uit het geheugen (riskanter):
Wanneer is de bibliotheek in [mijn woonplaats] opgericht en wie heeft dat gefinancierd?

Met brontekst (veiliger):
Gebruik uitsluitend de onderstaande tekst. Geef aan wanneer de bibliotheek is
opgericht en wie dat heeft gefinancierd. Staat het er niet in, antwoord dan met "niet vermeld".
"""
[plak hier de alinea van de website van de bibliotheek]
"""

In het eerste geval heeft het model waarschijnlijk weinig tot niets gelezen over je lokale bibliotheek, waardoor het vol zelfvertrouwen kan gaan gokken. In het tweede geval staan de feiten letterlijk in de context en hoeft het model ze alleen maar over te nemen. De samenvatter werkt op dezelfde manier: die baseert antwoorden puur op de tekst die je invoert.

In onze gids over het factchecken van AI-antwoorden lees je hoe je dit praktisch aanpakt.

Wat dit betekent als je de chat gebruikt

Wil je deze principes in de praktijk zien? Vraag Llama om zichzelf uit te leggen. Voor handige instructietechnieken lees je hoe je goede prompts schrijft; meer over de modellen zelf vind je in wat Llama is en de geschiedenis van de Llama-familie.

Veelgestelde vragen

Begrijpt Llama wat het zegt?

Dat hangt af van wat je onder "begrijpen" verstaat, en experts zijn het daar niet over eens. In de praktijk gaat het model goed genoeg met betekenis om om teksten samen te vatten, te vertalen en over problemen na te denken. Tegelijkertijd kan het struikelen over dingen die een kind moeiteloos snapt. Beoordeel het model op het resultaat, niet op hoe slim het klinkt.

Leert het model van mijn gesprekken?

Nee. De parameters van het model veranderen niet tijdens het chatten. Binnen één gesprek gebruikt het wat je zegt als context; begin je een nieuwe chat, dan is die context volledig gewist.

Wat is het verschil tussen Llama en ChatGPT?

Beide draaien op grote taalmodellen die volgens vergelijkbare principes werken. Llama is een modelfamilie ontwikkeld door Meta die met open gewichten wordt uitgebracht onder Meta's licentie, zodat iedereen ze kan downloaden en gebruiken. ChatGPT is de app van OpenAI, die OpenAI's eigen modellen als clouddienst aanbiedt. Zie ook Llama vs ChatGPT.

Wat zijn parameters?

Parameters zijn de getallen binnen het model die tijdens de trainingsfase worden bijgesteld. Meer parameters betekent dat er meer patronen kunnen worden opgeslagen, maar het vereist ook meer rekenkracht. Alleen de omvang bepaalt de kwaliteit niet; de trainingsdata en fine-tuning zijn minstens zo belangrijk.

Waarom ondersteunen maar enkele modellen afbeeldingen?

Llama 4 Maverick en Scout zijn getraind op zowel tekst als afbeeldingen. Llama 3.3 70B en Llama 3.1 8B zijn pure tekstmodellen en kunnen daarom geen afbeeldingen verwerken. In onze gids over het kiezen van het juiste Llama-model vergelijken we alle vier de modellen.