Wie Large Language Models wie Llama wirklich funktionieren

Wenn du eine Frage in den Chat eingibst, schlägt Llama die Antwort nirgendwo nach. Das Modell generiert die Antwort Stück für Stück auf Basis von Mustern, die es beim Training gelernt hat. Dieses Grundprinzip erklärt fast alles, was große Sprachmodelle (LLMs) gut können – und fast alle typischen Fehler. Dieser Leitfaden erklärt ohne Mathe und anhand der Llama-Modelle in unserem Chat, wie sie funktionieren.

Tokens: Wie ein Modell Text liest

Sprachmodelle sehen weder Buchstaben noch ganze Wörter. Text wird in Tokens zerlegt: Ein häufiges Wort ist oft ein einzelnes Token, längere oder seltenere Wörter werden in Teile aufgeteilt, und auch Satzzeichen zählen mit. Jedes Token wird in eine Reihe von Zahlen umgewandelt, mit denen das Modell rechnen kann.

Tokens erklären so manche Eigenheit: Wenn du ein Modell fragst, wie oft der Buchstabe „r“ in einem langen Wort vorkommt oder ein Wort rückwärts zu buchstabieren, liegt es oft falsch – es sieht von vornherein gar keine einzelnen Buchstaben. Wegen der Tokens werden Limits (wie viel Text das Modell lesen kann, wie lang eine Antwort sein darf) auch in Tokens statt in Wörtern gemessen. Sprachen, die mehr Tokens pro Satz benötigen, erreichen diese Limits schneller.

Vorhersage: Token für Token

Im Grunde tut ein LLM nur eines: Anhand des bisherigen Textes schätzt es ab, wie wahrscheinlich jedes mögliche nächste Token ist. Es wählt eines aus, hängt es an den Text an und wiederholt das Ganze. Eine lange Antwort besteht aus Hunderten oder Tausenden solcher Schritte.

Das Modell wählt nicht immer das allerwahrscheinlichste Token aus. Eine Prise kontrollierter Zufall – meist über einen Parameter namens Temperatur gesteuert – sorgt für abwechslungsreiche und natürlich klingende Antworten. Deshalb fällt die Formulierung bei derselben Frage jedes Mal etwas anders aus, und ein Klick auf „Neu generieren“ kann ein besseres Ergebnis liefern.

Training: Vom Text-Fortsetzer zum Assistenten

Pre-Training

Zuerst liest das Modell gewaltige Textmengen und lernt, das jeweils nächste Token vorherzusagen. Metas Model Cards beschreiben die Pre-Training-Daten für Llama 3.3 und 3.1 als „neue Mischung öffentlich zugänglicher Online-Daten“ mit mehr als 15 Billionen Tokens. Llama 4 wurde mit einer Mischung aus frei zugänglichen und lizenzierten Daten sowie Inhalten aus Meta-Produkten trainiert – etwa 40 Billionen Tokens bei Scout und 22 Billionen bei Maverick. Ganz nebenbei lernt das Modell dabei Grammatik, Fakten, Schreibstile, Programmcode und logische Zusammenhänge, weil all das hilft, bessere Vorhersagen zu treffen.

Instruction Tuning

Ein reines Vorhersagemodell schreibt Text einfach weiter; nützliche Antworten auf Fragen gibt es so noch nicht. Deshalb wird das Modell mit Beispielen aus Anweisungen und passenden Antworten weitertrainiert – ergänzt durch menschliches Feedback darüber, welche Antworten besser sind. Meta nennt diese Schritte in den Model Cards zu Llama 3.x Supervised Fine-Tuning (SFT) und Reinforcement Learning with Human Feedback (RLHF). Das Ergebnis ist die „Instruct“-Version, mit der du chattest.

Der Knowledge Cut-off

Trainingsdaten enden an einem bestimmten Stichtag, und das Modell weiß nichts über Ereignisse danach. Laut den Model Cards von Meta liegt der Cut-off für Llama 4 Maverick und Scout im August 2024, für Llama 3.3 70B und Llama 3.1 8B im Dezember 2023. Wenn du nach Ereignissen danach fragst, sagt das Modell entweder ehrlich, dass es das nicht weiß – oder es rät drauflos. Unser Chat hat keinen Webzugriff, um diese Lücke zu schließen.

Kontext: Das Arbeitsgedächtnis des Modells

Alles, was das Modell beim Formulieren einer Antwort berücksichtigt (die Systemanweisungen, der bisherige Chatverlauf und deine neue Nachricht), nennt man Kontext. Ein Gedächtnis darüber hinaus gibt es nicht. Wenn du einen neuen Chat beginnst, weiß das Modell nichts mehr von deinen früheren Unterhaltungen.

Die maximale Textmenge ist das Kontextfenster, gemessen in Tokens. Die Model Cards von Meta geben 128K Tokens für Llama 3.3 und 3.1 an, 1M für Llama 4 Maverick und 10M für Llama 4 Scout. Der von uns genutzte Provider bietet rund 524K für Maverick und etwa 1,3M für Scout. Unser Chat sendet jeweils nur einen kürzeren Ausschnitt des Chatverlaufs mit, um die Antworten schnell zu halten – deshalb können sehr frühe Nachrichten in langen Chats irgendwann unter den Tisch fallen.

Mixture of Experts: Die Architektur von Llama 4

Llama 3-Modelle sind „dense“ (dicht): Jeder Parameter – also die im Modell gespeicherten Zahlenwerte – wird für jedes einzelne Token genutzt. Llama 4 setzt stattdessen auf eine Mixture-of-Experts-Architektur. Das Modell besteht aus vielen spezialisierten Sub-Netzwerken („Experten“), und für jedes Token wird nur ein Teil davon aktiv. Metas Model Card nennt die genauen Zahlen: Llama 4 Scout nutzt 17 Milliarden aktive von insgesamt 109 Milliarden Parametern bei 16 Experten; Llama 4 Maverick aktiviert 17 Milliarden von 400 Milliarden Parametern bei 128 Experten. Der Vorteil: Das Modell speichert enorm viel Wissen, braucht aber pro Token deutlich weniger Rechenleistung als ein dichtes Modell derselben Gesamtgröße.

Zudem ist Llama 4 nativ multimodal. Meta nennt das „Early Fusion“: Text und Bilder werden gemeinsam in einem einzigen Modell verarbeitet, nicht über nachträgliche Erweiterungen. Deshalb können Maverick und Scout Fragen zu hochgeladenen Bildern beantworten, während die reinen Textmodelle aus der Llama 3-Reihe das nicht können.

Warum Modelle Dinge erfinden

Ein Sprachmodell wird darauf trainiert, plausibel klingenden Text zu schreiben – nicht darauf, Fakten zu überprüfen. Wenn es einen Fakt gut gelernt hat, sind plausibel und wahr identisch. Wenn nicht (etwa bei seltenen Namen, exakten Zahlen, aktuellen Ereignissen oder Zitaten), formuliert es trotzdem etwas, das überzeugend klingt. Das nennt man Halluzination. Das ist keine böse Absicht: Das Modell hat keine separate Faktendatenbank, in der es nachsehen könnte.

• Genaue Zahlen, Daten, Zitate und Quellenangaben sind besonders fehleranfällig.
• Die Nachfrage „Bist du sicher?“ führt manchmal zu einer Korrektur – oder zu einer Entschuldigung für etwas, das eigentlich gestimmt hat. Als Faktenprüfung taugt das nicht.
• Gib dem Modell den Quelltext vor und weise es an, nur daraus zu antworten: Das reduziert Fehler drastisch.

Der Unterschied wird an zwei Varianten derselben Anfrage deutlich:

Aus dem Gedächtnis (riskanter):
Wann wurde die Stadtbibliothek in [meine Stadt] gegründet und wer hat sie finanziert?

Mit Quelltext (sicherer):
Beantworte nur anhand des folgenden Textes, wann die Bibliothek gegründet
wurde und wer sie finanziert hat. Steht es nicht im Text, antworte mit „nicht angegeben“.
"""
[hier den Textabschnitt von der Website der Bibliothek einfügen]
"""

Im ersten Fall hat das Modell wahrscheinlich kaum oder gar keine Daten zu deiner lokalen Bibliothek und rät ins Blaue hinein. Im zweiten Fall liegen die Fakten direkt im Kontext – es muss sie nur ablesen. Unser Text-Zusammenfasser funktioniert nach demselben Prinzip: Er antwortet exakt auf Basis deines Textes.

Wie du Fakten strukturiert prüfst, erfährst du in unserer Anleitung zum Faktencheck von KI-Antworten.

Was das für deine Nutzung im Chat bedeutet

Willst du das in Aktion sehen? Frag Llama einfach selbst, wie es funktioniert. Tipps für bessere Eingaben findest du unter Prompts richtig schreiben; Details zu den Modellen gibt es unter Was ist Llama? und Die Geschichte der Llama-Familie.

Häufige Fragen (FAQ)

Versteht Llama wirklich, was es sagt?

Das hängt davon ab, was man unter „Verstehen“ versteht – in der Forschung gibt es dazu ganz unterschiedliche Ansichten. In der Praxis erfasst das Modell Bedeutungen gut genug, um Texte zusammenzufassen, zu übersetzen und knifflige Aufgaben logisch zu lösen. Gleichzeitig kann es an Dingen scheitern, die jedes Kind versteht. Beurteile das Modell nach den Ergebnissen, nicht danach, wie klug es klingt.

Lernt das Modell aus meinen Chats?

Nein. Die Parameter des Modells verändern sich während des Chattens nicht. Innerhalb einer Unterhaltung nutzt es deine Nachrichten als Kontext; sobald du einen neuen Chat startest, ist dieser Kontext weg.

Was unterscheidet Llama von ChatGPT?

Beide basieren auf großen Sprachmodellen mit ähnlichen Funktionsprinzipien. Llama ist eine Modellfamilie von Meta, die als Open-Weights-Modelle unter Metas Lizenz veröffentlicht wird – jede Person kann sie herunterladen und selbst ausführen. ChatGPT hingegen ist eine Anwendung von OpenAI, die eigene Modelle als geschlossenen Web-Dienst bereitstellt. Mehr dazu unter Llama vs. ChatGPT.

Was sind Parameter?

Das sind die Zahlenwerte im Inneren des Modells, die während des Trainings angepasst werden. Mehr Parameter können komplexere Muster speichern, erfordern aber auch deutlich mehr Rechenleistung. Die reine Modellgröße sagt jedoch nicht alles aus – Qualität der Trainingsdaten und Fine-Tuning sind genauso wichtig.

Warum können nur manche Modelle Bilder verarbeiten?

Llama 4 Maverick und Scout wurden von Grund auf mit Text und Bildern gemeinsam trainiert. Llama 3.3 70B und Llama 3.1 8B sind reine Textmodelle und können Bilder daher nicht erfassen. Unser Leitfaden zur Modellauswahl vergleicht alle vier Varianten im Detail.