Comment exécuter Llama en local

Pourquoi faire tourner Llama sur son propre ordinateur

Les poids de Llama étant publiés par Meta, vous pouvez, contrairement aux chatbots propriétaires, télécharger un modèle Llama et l'exécuter sur votre propre machine. Une fois téléchargé, il fonctionne hors ligne, vos requêtes ne quittent jamais votre ordinateur, et il n'y a aucune limite de messages ni facturation au token. La contrepartie concerne le matériel : les modèles les plus imposants nécessitent beaucoup de mémoire, et un ordinateur portable répondra plus lentement qu'un serveur cloud.

Ce guide présente les trois outils les plus répandus, du plus accessible au plus avancé : Ollama, LM Studio et llama.cpp. Si vous souhaitez simplement tester Llama, notre chat Llama gratuit ne nécessite aucune installation.

Choisir un modèle adapté à sa machine

Le choix le plus crucial est la taille du modèle. Règle générale : vous devez disposer d'au moins autant de mémoire libre (mémoire vidéo de la carte graphique, ou mémoire unifiée sur Apple silicon) que la taille du fichier du modèle, plus un surplus pour le contexte de la conversation. Si la mémoire est insuffisante, le modèle refusera de se charger ou s'exécutera très lentement depuis la mémoire vive classique.

Voici les tailles de téléchargement indiquées par Ollama pour ses versions par défaut de chaque modèle Llama. Il s'agit de fichiers compressés (quantifiés), ce qui correspond à la manière dont la plupart des gens exécutent des modèles chez eux.

En cas de doute, commencez par Llama 3.1 8B. Il est assez léger pour tourner sur beaucoup d'ordinateurs portables récents tout en étant suffisamment performant pour être utile. La fiche officielle de Meta pour Llama 4 Scout précise qu'il tient sur un seul GPU de centre de données H100 avec une quantification Int4, ce qui donne une idée de l'échelle des modèles Llama 4.

Option 1 : Ollama (le plus simple)

Ollama est une application qui télécharge et exécute des modèles en une seule commande, tout en les gardant prêts à l'emploi.

1. Installez Ollama depuis son site officiel.
2. Ouvrez un terminal et lancez ollama run llama3.1. Le premier lancement télécharge le modèle ; les suivants démarrent en quelques secondes.
3. Saisissez votre question dans le terminal et appuyez sur Entrée.

Les autres modèles Llama fonctionnent de la même manière, par exemple ollama run llama3.2 ou ollama run llama4:scout. Les pages du catalogue Ollama pour Llama 3.1, Llama 3.2 et Llama 4 listent toutes les tailles disponibles. Sur la page Llama 4, Ollama indique une fenêtre de contexte de 10M pour Scout et de 1M pour Maverick, tous deux prenant en charge le texte et les images.

Ollama fait également office de serveur local, ce qui permet à vos propres scripts d'interroger le modèle. Voici à quoi ressemble une requête de chat :

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Option 2 : LM Studio (application de bureau)

LM Studio est une application de bureau gratuite dotée d'une interface de chat conviviale, sans passer par le terminal.

1. Téléchargez LM Studio pour votre système et lancez-le.
2. Ouvrez l'onglet Discover, recherchez « Llama » et téléchargez une version adaptée à votre mémoire.
3. Allez dans l'onglet Chat, sélectionnez le modèle dans le menu en haut et commencez à discuter.

LM Studio peut également faire office de serveur local compatible avec l'API OpenAI, accessible par défaut à l'adresse http://localhost:1234/v1. De nombreux outils existants peuvent ainsi pointer vers cette adresse plutôt que vers un service cloud. Consultez le guide de démarrage de LM Studio et la documentation du serveur compatible OpenAI.

Option 3 : llama.cpp (contrôle maximal)

llama.cpp est le moteur open source qui propulse de nombreux outils d'IA locale. L'utiliser directement vous offre un contrôle complet sur les paramètres de performance. Il prend en charge le format de fichier GGUF, propose des quantifications allant de 1,5 bit à 8 bits pour réduire la taille des modèles, et optimise pleinement Apple silicon.

1. Installez-le. Le README du projet propose des commandes d'installation directes : curl -LsSf https://llama.app/install.sh | sh sur macOS et Linux, ou irm https://llama.app/install.ps1 | iex sous Windows PowerShell.
2. Discutez dans le terminal avec un modèle GGUF depuis Hugging Face : llama cli -hf <user>/<repo>.
3. Ou lancez un serveur local compatible OpenAI : llama serve -hf <user>/<repo>.

Remplacez les balises par le dépôt Hugging Face de la version GGUF du modèle Llama souhaité. Consultez la description du dépôt pour vérifier la quantification utilisée par chaque fichier ; les fichiers plus légers demandent moins de mémoire, mais perdent un peu en qualité.

Option 4 : les poids originaux fournis par Meta

Les développeurs souhaitant disposer des poids en pleine précision peuvent les télécharger depuis les pages Meta sur Hugging Face, telles que Llama 3.1 8B Instruct ou Llama 4 Scout. L'accès à ces dépôts est restreint : vous devez vous connecter et accepter la licence sur la page du modèle avant de pouvoir accéder aux fichiers. Les fiches modèles incluent des exemples de code pour la bibliothèque Transformers de Hugging Face. Les poids complets nécessitent beaucoup plus de mémoire que les versions quantifiées présentées plus haut : cette approche est donc surtout réservée aux serveurs et à l'ajustement fin (fine-tuning).

Conseils pour bien démarrer

• Commencez petit. Testez d'abord un modèle 8B ou 3B. Ne passez à une version supérieure que si les réponses s'avèrent insuffisantes et que votre matériel le permet.
• Fermez les applications gourmandes. Les navigateurs avec de nombreux onglets et les jeux vidéo se disputent la même mémoire vive.
• Limitez la longueur du contexte. Les très longues conversations consomment plus de mémoire et ralentissent le traitement. Démarrez un nouveau chat pour aborder un nouveau sujet.
• Définissez un prompt système. Indiquer au modèle son rôle et le style de réponse attendu améliore nettement le résultat des petits modèles. Notre bibliothèque de prompts vous donnera des idées.
• Attention aux conditions de licence. Faire tourner un modèle pour votre usage personnel est libre, mais si vous développez un produit basé dessus, consultez notre guide des licences Llama.
• Gardez en tête la date d'actualisation. Les modèles locaux n'effectuent pas de recherches sur le web. Les connaissances de Llama 3.x s'arrêtent en décembre 2023 et celles de Llama 4 en août 2024.

En local ou en ligne : que choisir ?

Faites tourner Llama en local lorsque la confidentialité, l'utilisation hors ligne ou un usage quotidien intensif priment sur la simplicité, et si vous disposez d'un matériel adapté. Privilégiez un chat en ligne pour utiliser les modèles Llama 4 les plus imposants sans ordinateur surpuissant, ou simplement pour tester Llama. Vous pouvez également interroger Llama par le code via des fournisseurs cloud ; notre guide de l'API Llama aborde ce sujet.

Tester d'abord Llama 4 Maverick en ligne

FAQ

Est-il possible de faire tourner Llama sans carte graphique ?

Oui, les petits modèles tels que Llama 3.2 3B et Llama 3.1 8B fonctionnent sur un processeur classique, mais plus lentement. En revanche, les modèles plus lourds deviennent inutilisables sans un GPU puissant ou une grande quantité de mémoire unifiée.

L'exécution de Llama en local est-elle gratuite ?

Les logiciels mentionnés ci-dessus et les poids de Llama sont téléchargeables gratuitement. Vos seuls frais se limitent à votre matériel et à votre consommation d'électricité.

Un modèle Llama en local peut-il analyser des images ?

Llama 4 Scout et Maverick acceptent les images, tout comme les modèles Llama 3.2 Vision. Les modèles textuels 1B, 3B et 8B ne gèrent que le texte.

Quel outil recommander à un débutant ?

LM Studio si vous préférez une interface graphique intuitive sur votre bureau, ou Ollama si vous êtes à l'aise avec une commande simple dans le terminal.