Comment fonctionnent les grands modèles de langage comme Llama

Lorsque vous posez une question dans le chat, Llama ne cherche la réponse nulle part. Il rédige la réponse élément par élément, en s'appuyant sur les régularités apprises lors de son entraînement. Comprendre ce principe fondamental permet d'expliquer l'essentiel des réussites des grands modèles linguistiques (LLM), mais aussi la plupart de leurs erreurs. Ce guide vous explique leur fonctionnement, sans équations complexes, en prenant pour exemple les modèles Llama disponibles dans notre chat.

Les tokens : comment un modèle lit le texte

Les modèles linguistiques ne voient ni les lettres ni les mots entiers. Le texte est découpé en tokens : un mot courant correspond souvent à un seul token, les mots plus longs ou plus rares sont scindés en plusieurs fragments, et la ponctuation compte également. Chaque token est ensuite converti en une série de nombres sur lesquels le modèle peut effectuer des calculs.

Les tokens expliquent certains comportements surprenants. Si vous demandez à un modèle combien de fois apparaît la lettre « r » dans un mot long, ou de l'épeler à l'envers, il risque de se tromper : il n'a tout simplement jamais analysé les lettres séparément. C'est également pour cela que les limites (le volume de texte lisible par le modèle ou la longueur maximale d'une réponse) sont mesurées en tokens plutôt qu'en mots. Les langues nécessitant plus de tokens par phrase atteignent ces limites plus rapidement.

La prédiction : un token à la fois

Au fond, un LLM ne fait qu'une seule chose : à partir du texte fourni jusqu'ici, il évalue la probabilité de chaque prochain token possible. Il en sélectionne un, l'ajoute au texte et recommence. Une réponse complète résulte de la répétition de cette étape des centaines ou des milliers de fois.

Le modèle ne choisit pas toujours le token le plus probable. Une dose d'aléa maîtrisé, généralement réglée par un paramètre appelé température, permet de générer des réponses variées et naturelles. C'est la raison pour laquelle une même question produit des formulations différentes à chaque essai, et qu'il suffit parfois de régénérer une réponse pour obtenir un meilleur résultat.

L'entraînement : du prédicteur de texte à l'assistant

Le pré-entraînement

Dans un premier temps, le modèle parcourt une quantité colossale de textes pour apprendre à prédire le token suivant. Les fiches techniques de Meta précisent que les données de pré-entraînement pour Llama 3.3 et 3.1 proviennent d'« un nouveau corpus de données publiques en ligne » représentant plus de 15 000 milliards de tokens. Llama 4 a été entraîné sur un ensemble combinant données publiques, données sous licence et informations issues des produits de Meta, soit environ 40 000 milliards de tokens pour Scout et 22 000 milliards pour Maverick. Au fil de cet apprentissage, le modèle assimile la grammaire, des connaissances factuelles, des styles d'écriture, du code et des raisonnements logiques, autant d'éléments indispensables pour affiner ses prédictions.

L'alignement sur les instructions

Un simple modèle prédictif se contente de prolonger un texte ; il ne sait pas répondre de manière utile à des requêtes. Il suit donc un entraînement complémentaire à partir d'exemples d'instructions accompagnées de réponses adaptées, ainsi que d'évaluations humaines indiquant quelles réponses sont les plus pertinentes. Dans les fiches techniques de la gamme Llama 3.x de Meta, ces étapes sont appelées ajustement supervisé (SFT) et apprentissage par renforcement avec rétroaction humaine (RLHF). C'est ce processus qui donne naissance à la version « Instruct » avec laquelle vous échangez.

La date limite des connaissances

Les données d'entraînement s'arrêtent à une date précise, au-delà de laquelle le modèle ne sait rien. D'après les fiches techniques de Meta, cette date butoir est fixée à août 2024 pour Llama 4 Maverick et Scout, et à décembre 2023 pour Llama 3.3 70B et Llama 3.1 8B. Si vous l'interrogez sur des événements postérieurs, le modèle indiquera qu'il l'ignore ou, pire encore, tentera de deviner. Notre chat ne dispose d'aucun accès au Web pour pallier ce manque.

Le contexte : la mémoire de travail du modèle

L'ensemble des éléments pris en compte par le modèle pour formuler sa réponse (les instructions initiales, le fil de la discussion et votre nouveau message) s'appelle le contexte. Le modèle ne possède aucune mémoire en dehors de cet espace. Lorsque vous lancez un nouveau chat, il ne conserve aucun souvenir de vos échanges précédents.

La capacité maximale correspond à la fenêtre de contexte, exprimée en tokens. Les fiches techniques de Meta font état de 128k tokens pour Llama 3.3 et 3.1, 1M pour Llama 4 Maverick et 10M pour Llama 4 Scout ; notre infrastructure d'hébergement alloue environ 524k tokens pour Maverick et près de 1,3M pour Scout. Afin de garantir des réponses rapides, notre chat transmet un extrait optimisé de chaque conversation, ce qui explique pourquoi les premiers messages d'un long échange peuvent finir par ne plus être pris en compte.

Le mélange d'experts : l'architecture de Llama 4

Les modèles Llama 3 sont dits denses : chaque paramètre (les valeurs numériques ajustées lors de l'entraînement) est sollicité pour chaque token généré. Llama 4 adopte quant à lui une architecture en mélange d'experts (MoE). Le modèle intègre de nombreux sous-réseaux spécialisés appelés experts, et seule une partie d'entre eux est activée pour chaque token. Les chiffres officiels de Meta l'illustrent bien : Llama 4 Scout active 17 milliards de paramètres sur un total de 109 milliards, répartis sur 16 experts ; Llama 4 Maverick active 17 milliards de paramètres sur 400 milliards, avec 128 experts. L'intérêt ? Bénéficier d'un modèle capable d'emmagasiner d'immenses connaissances tout en restant bien plus économique à exécuter par token qu'un modèle dense de taille équivalente.

Llama 4 est également nativement multimodal. Meta applique le principe de « fusion précoce » : le texte et les images sont analysés conjointement au sein du même modèle, et non via un module greffé a posteriori. C'est pourquoi Maverick et Scout peuvent interpréter une image que vous partagez, contrairement aux modèles Llama 3 qui traitent exclusivement du texte.

Pourquoi les modèles inventent des faits

Un modèle linguistique est entraîné pour générer du texte plausible, non pour vérifier son exactitude. Lorsqu'un fait a été parfaitement assimilé, la plausibilité rejoint la vérité. En revanche, face à une information méconnue (un patronyme rare, un chiffre précis, une actualité récente ou une référence bibliographique), il produit tout de même un texte à l'allure crédible. On parle alors d'hallucination. Il ne s'agit pas d'un mensonge délibéré : le modèle ne dispose d'aucune base de données factuelle séparée à consulter.

• Les chiffres précis, les dates, les citations et les sources sont les éléments les plus sujets aux erreurs.
• Lui demander « en es-tu sûr ? » peut provoquer une rectification justifiée, mais aussi l'amener à s'excuser à tort pour une réponse pourtant correcte. Ce n'est pas un test fiable.
• Lui fournir directement le texte source en lui demandant de s'y restreindre réduit considérablement les risques d'erreur.

La différence est frappante entre ces deux approches d'une même demande :

De mémoire (plus risqué) :
Quand a été fondée la bibliothèque municipale de [ma ville] et qui l'a financée ?

À partir d'une source (plus sûr) :
En vous basant uniquement sur le texte ci-dessous, indiquez quand la
bibliothèque a été fondée et qui l'a financée. Si le texte ne le précise
pas, répondez « non mentionné ».
"""
[collez le paragraphe issu du site officiel de la bibliothèque]
"""

Dans le premier cas, le modèle ne dispose probablement que de très peu d'informations sur votre bibliothèque locale et risque de formuler une hypothèse trompeuse avec beaucoup d'assurance. Dans le second, les données figurent directement dans son contexte : il n'a plus qu'à les lire. Notre outil de résumé fonctionne exactement sur ce principe en s'appuyant uniquement sur le contenu fourni.

Notre guide pour vérifier les réponses d'une IA vous propose une méthode concrète pour valider ces résultats.

Ce que cela implique au quotidien dans le chat

Pour observer ces principes en direct, n'hésitez pas à demander à Llama d'expliquer son fonctionnement. Pour perfectionner vos requêtes, consultez notre guide pour apprendre à rédiger des prompts ; pour en savoir plus sur les modèles, découvrez ce qu'est Llama ainsi que l'historique de la gamme Llama.

FAQ

Llama comprend-il ce qu'il raconte ?

Tout dépend de ce que l'on entend par « comprendre », et les chercheurs sont divisés sur la question. En pratique, il saisit suffisamment le sens des phrases pour résumer, traduire et résoudre de nombreux problèmes complexes, mais peut trébucher sur des évidences accessibles à un enfant. Évaluez la qualité de ses réponses sur pièces, et non sur sa simple éloquence.

Le modèle apprend-il de mes échanges ?

Non. Les paramètres du modèle ne sont pas modifiés au cours de votre utilisation. Au sein d'une même session, il exploite vos messages passés comme contexte ; dès que vous ouvrez une nouvelle discussion, ce contexte est réinitialisé.

Quelle différence y a-t-il entre Llama et ChatGPT ?

Ces deux solutions reposent sur de grands modèles linguistiques conçus selon des architectures comparables. Llama est une famille de modèles développée par Meta et partagée sous forme de poids ouverts sous licence Meta, ce qui permet à chacun de les télécharger et de les faire tourner librement. ChatGPT est une application créée par OpenAI, qui fait fonctionner ses propres modèles sous forme de service en ligne hébergé. Pour en savoir plus, consultez notre comparatif Llama vs ChatGPT.

Qu'appelle-t-on les paramètres ?

Il s'agit des coefficients numériques internes du modèle, ajustés tout au long de son entraînement. Un nombre élevé de paramètres permet de mémoriser davantage de schémas, mais exige une puissance de calcul bien supérieure. La taille ne fait pas tout : la qualité des données d'entraînement et l'affinage jouent un rôle tout aussi déterminant.

Pourquoi certains modèles acceptent-ils les images et d'autres non ?

Llama 4 Maverick et Scout ont été entraînés simultanément sur du texte et des images. À l'inverse, Llama 3.3 70B et Llama 3.1 8B sont exclusivement textuels et ne peuvent pas interpréter de visuels. Notre guide pour choisir le bon modèle Llama détaille les spécificités de ces quatre versions.