Hoe draai je Llama lokaal?

Waarom Llama op je eigen computer draaien

De weights van Llama worden openbaar gemaakt door Meta. In tegenstelling tot gesloten chatbots kun je een Llama-model dus gewoon downloaden en op je eigen apparaat draaien. Zodra het gedownload is, werkt het offline, verlaten je prompts je computer nooit en heb je geen limieten op berichten of kosten per token. Het nadeel zit in de hardware: grotere modellen vereisen veel geheugen, en een laptop reageert trager dan een cloudserver.

Deze gids behandelt de drie populairste tools, van het eenvoudigst tot het meest geavanceerd: Ollama, LM Studio en llama.cpp. Wil je Llama alleen even uitproberen? Voor onze gratis Llama chat hoef je helemaal niets te installeren.

Kies een model dat bij je computer past

De belangrijkste keuze is de modelgrootte. Een handige vuistregel: je hebt minstens evenveel vrij geheugen nodig (videogeheugen van je grafische kaart, of unified memory op Apple silicon) als de bestandsgrootte van het model, plus wat extra ruimte voor het gesprek. Past het model niet, dan weigert het te laden of draait het tergend langzaam via het normale werkgeheugen.

Dit zijn de downloadgroottes die Ollama aangeeft voor de standaardversies van elk Llama-model. Het gaat om gecomprimeerde (gekwantiseerde) bestanden; de manier waarop de meeste mensen thuis modellen draaien.

Twijfel je? Begin dan met Llama 3.1 8B. Dit model is compact genoeg voor veel recente laptops en slim genoeg om echt nuttig te zijn. Meta vermeldt op de eigen modelkaart van Llama 4 Scout dat het met Int4-kwantisatie op een enkele H100-datacenter-GPU past. Dat geeft wel aan hoe enorm de Llama 4-modellen zijn.

Optie 1: Ollama (het makkelijkst)

Ollama is een applicatie die modellen met één commando downloadt en uitvoert, en ze direct klaarhoudt voor later gebruik.

1. Installeer Ollama via de officiële website.
2. Open een terminal en voer ollama run llama3.1 uit. De eerste keer downloadt hij het model; daarna start het binnen enkele seconden op.
3. Typ je vraag achter de prompt en druk op Enter.

Andere Llama-modellen werken precies zo, zoals ollama run llama3.2 of ollama run llama4:scout. Op de Ollama-bibliotheekpagina's voor Llama 3.1, Llama 3.2 en Llama 4 vind je alle beschikbare formaten. Op de Llama 4-pagina toont Ollama Scout met een contextvenster van 10M en Maverick met 1M; beide ondersteunen zowel tekst als afbeeldingen.

Ollama draait ook een lokale server, zodat je eigen scripts het model kunnen aanroepen. Een chatverzoek ziet er zo uit:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Leg recursie uit in twee zinnen."}]
}'

Optie 2: LM Studio (een desktop-app)

LM Studio is een gratis desktopprogramma met een vertrouwde chatinterface, waardoor je de terminal helemaal niet nodig hebt.

1. Download LM Studio voor jouw besturingssysteem en open het programma.
2. Ga naar het tabblad Discover, zoek op "Llama" en download een versie die binnen je geheugen past.
3. Ga naar het tabblad Chat, kies het model in de modelkiezer bovenaan en begin met chatten.

LM Studio kan ook dienstdoen als lokale server die hetzelfde formaat gebruikt als de OpenAI-API, standaard op http://localhost:1234/v1. Veel bestaande software kun je simpelweg naar dat adres laten wijzen in plaats van naar een clouddienst. Bekijk de LM Studio snelstartgids en de documentatie voor de OpenAI-compatibele server.

Optie 3: llama.cpp (de meeste controle)

llama.cpp is de opensource-engine achter veel lokale AI-tools. Door het direct te gebruiken, houd je maximale controle over alle prestatie-instellingen. Het draait modellen in het GGUF-bestandsformaat, ondersteunt kwantisatie van 1.5-bit tot 8-bit om modellen te verkleinen en biedt eersteklas ondersteuning voor Apple silicon.

1. Installeer de tool. De project-README biedt handige installatiecommando's: curl -LsSf https://llama.app/install.sh | sh op macOS en Linux, of irm https://llama.app/install.ps1 | iex in Windows PowerShell.
2. Chat direct in de terminal met een GGUF-model van Hugging Face: llama cli -hf <user>/<repo>.
3. Of start een lokale, OpenAI-compatibele server: llama serve -hf <user>/<repo>.

Vervang de placeholder door de Hugging Face-repository van de gewenste GGUF-versie van het Llama-model. Lees de beschrijving van de repository goed om te zien welke kwantisatie elk bestand gebruikt; kleinere bestanden vragen minder geheugen, maar leveren iets in op kwaliteit.

Optie 4: de originele weights van Meta

Ontwikkelaars die de ongewijzigde full-precision weights willen gebruiken, kunnen deze downloaden via de pagina's van Meta op Hugging Face, zoals Llama 3.1 8B Instruct of Llama 4 Scout. Deze repositories zijn afgeschermd: je moet inloggen en de licentievoorwaarden op de modelpagina accepteren voordat de bestanden beschikbaar worden. De modelkaarten bevatten voorbeeldcode voor de Transformers-bibliotheek van Hugging Face. Omdat full-precision weights veel meer geheugen vereisen dan de gekwantiseerde versies hierboven, is deze optie vooral bedoeld voor servers en fine-tuning.

Tips voor een soepele start

• Begin bescheiden. Probeer eerst een 8B- of 3B-model. Stap pas over naar grotere varianten als de antwoorden tekortschieten en je hardware het aankan.
• Sluit zware programma's af. Browsers met tientallen tabbladen en games vechten om hetzelfde geheugen.
• Houd de context compact. Extreem lange gesprekken verbruiken veel geheugen en maken het model trager. Start gewoon een nieuwe chat voor een nieuw onderwerp.
• Gebruik een system prompt. Geef het model duidelijk een rol en gewenste antwoordstijl mee; dit helpt vooral kleinere modellen enorm. Doe ideeën op in onze promptbibliotheek.
• Let op de licentie. Een model lokaal voor jezelf draaien is zorgeloos, maar bouw je een eigen product, check dan onze gids over de Llama-licentie.
• Verwacht oudere kennis. Lokale modellen zoeken niet live op het web. De kennis van Llama 3.x stopt in december 2023, en die van Llama 4 in augustus 2024.

Lokaal of online: wat past bij jou?

Kies voor lokaal draaien als privacy, offline werken of intensief dagelijks gebruik zwaarder wegen dan gemak, én als je de juiste hardware hebt. Gebruik een online chat als je de grotere Llama 4-modellen wilt benutten zonder dure apparatuur aan te schaffen, of als je Llama AI simpelweg wilt uitproberen. Je kunt Llama via cloudproviders ook aanroepen via code; daarover lees je alles in onze Llama API-gids.

Probeer Llama 4 Maverick eerst online

Veelgestelde vragen

Kan ik Llama draaien zonder aparte videokaart?

Ja, compacte modellen zoals Llama 3.2 3B en Llama 3.1 8B werken gewoon op een normale processor, al reageren ze dan wel een stuk langzamer. Grotere modellen zijn zonder krachtige GPU of veel unified memory nauwelijks werkbaar.

Is Llama lokaal draaien gratis?

De genoemde software en de Llama-weights zijn volledig gratis te downloaden. Je betaalt alleen voor je eigen hardware en stroomverbruik.

Kan een lokaal Llama-model afbeeldingen analyseren?

Llama 4 Scout en Maverick ondersteunen afbeeldingen, net als de Vision-modellen van Llama 3.2. De 1B-, 3B- en 8B-tekstmodellen kunnen dit niet.

Welke tool is het beste voor beginners?

LM Studio als je liever klikt in een duidelijke desktop-app; Ollama als je het prima vindt om een enkel commando in te typen in de terminal.