Llama lokal ausführen

Warum du Llama auf deinem eigenen Computer ausführen solltest

Die Modellgewichte von Llama werden von Meta veröffentlicht. Anders als bei geschlossenen Chatbots kannst du ein Llama-Modell also einfach herunterladen und auf deinem eigenen Rechner betreiben. Sobald der Download abgeschlossen ist, funktioniert alles offline: Deine Prompts verlassen nie deinen Computer, und es gibt weder Nachrichtenlimits noch Abrechnungen pro Token. Der Haken ist die Hardware: Größere Modelle brauchen jede Menge Arbeitsspeicher, und ein Laptop antwortet spürbar langsamer als ein Cloud-Server.

Dieser Leitfaden stellt die drei gängigsten Tools vor – von kinderleicht bis tiefgehend konfigurierbar: Ollama, LM Studio und llama.cpp. Wenn du Llama einfach nur unverbindlich ausprobieren möchtest, kommst du mit unserem kostenlosen Llama-Chat komplett ohne Installation aus.

Wähle ein Modell, das zu deinem Rechner passt

Die wichtigste Entscheidung ist die Modellgröße. Eine einfache Faustregel: Du benötigst mindestens so viel freien Speicher (VRAM deiner Grafikkarte oder Unified Memory auf Apple-Silicon-Chips) wie die Modelldatei groß ist – plus etwas Puffer für den Chatverlauf. Passt das Modell nicht hinein, lässt es sich entweder gar nicht erst laden oder läuft quälend langsam über den normalen Arbeitsspeicher.

Hier sind die Download-Größen, die Ollama standardmäßig für die jeweiligen Llama-Versionen angibt. Es handelt sich um komprimierte (quantisierte) Dateien – genau so werden Modelle zu Hause meist betrieben.

Wenn du unsicher bist, starte mit Llama 3.1 8B. Es ist kompakt genug für viele aktuelle Laptops und gleichzeitig stark genug für nützliche Ergebnisse. Metas eigene Modellkarte für Llama 4 Scout erwähnt, dass das Modell mit Int4-Quantisierung auf eine einzelne H100-Rechenzentrums-GPU passt – das vermittelt einen guten Eindruck von den Dimensionen der Llama 4-Reihe.

Option 1: Ollama (am einfachsten)

Ollama ist ein Tool, das Modelle mit einem einzigen Befehl herunterlädt, ausführt und für spätere Chats bereithält.

1. Installiere Ollama von der offiziellen Website.
2. Öffne ein Terminal und führe ollama run llama3.1 aus. Beim ersten Mal wird das Modell heruntergeladen; danach startet es in Sekundenschnelle.
3. Gib deine Frage ein und drücke die Eingabetaste.

Andere Llama-Modelle funktionieren genauso, etwa ollama run llama3.2 oder ollama run llama4:scout. Die Bibliotheksseiten von Ollama für Llama 3.1, Llama 3.2 und Llama 4 listen alle verfügbaren Größen auf. Auf der Llama 4-Seite führt Ollama Scout mit einem 10M-Kontextfenster und Maverick mit 1M auf – beide verarbeiten Text und Bilder.

Ollama stellt außerdem einen lokalen Server bereit, damit deine eigenen Skripte das Modell nutzen können. Eine Chat-Anfrage sieht so aus:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Option 2: LM Studio (Desktop-App mit Oberfläche)

LM Studio ist eine kostenlose Desktop-App mit grafischer Chat-Oberfläche – ganz ohne Terminal.

1. Lade LM Studio für dein Betriebssystem herunter und öffne das Programm.
2. Gehe zum Reiter „Discover“, suche nach „Llama“ und lade eine Version herunter, die zu deinem Arbeitsspeicher passt.
3. Wechsle zum Reiter „Chat“, wähle das Modell oben in der Leiste aus und lege direkt los.

LM Studio kann auch als lokaler Server fungieren, der dasselbe Format wie die OpenAI-API nutzt – standardmäßig unter http://localhost:1234/v1. Viele bestehende Tools lassen sich so einfach auf diese Adresse statt auf einen Cloud-Dienst umbiegen. Schau dir dazu den LM Studio Einsteiger-Guide und die Dokumentation zum OpenAI-kompatiblen Server an.

Option 3: llama.cpp (maximale Kontrolle)

llama.cpp ist die Open-Source-Engine hinter vielen lokalen KI-Tools. Wer sie direkt nutzt, hat die volle Kontrolle über alle Leistungseinstellungen. Sie führt Modelle im GGUF-Format aus, unterstützt Quantisierungen von 1,5 bis 8 Bit zur Modellverkleinerung und nutzt Apple Silicon optimal aus.

1. Installiere das Tool. In der README des Projekts gibt es bequeme Einzeiler-Installationsbefehle: curl -LsSf https://llama.app/install.sh | sh unter macOS und Linux oder irm https://llama.app/install.ps1 | iex in der Windows PowerShell.
2. Chatte direkt im Terminal mit einem GGUF-Modell von Hugging Face: llama cli -hf <user>/<repo>.
3. Oder starte einen lokalen OpenAI-kompatiblen Server: llama serve -hf <user>/<repo>.

Ersetze den Platzhalter einfach durch das Hugging Face-Repository der gewünschten GGUF-Version von Llama. Lies die Modellbeschreibung, um zu sehen, welche Datei welche Quantisierung nutzt: Kleinere Dateien brauchen weniger Speicher, büßen aber minimal an Qualität ein.

Option 4: Die Original-Gewichte von Meta

Entwickler, die mit den unkomprimierten Full-Precision-Gewichten arbeiten möchten, finden diese auf den Hugging Face-Seiten von Meta, wie etwa Llama 3.1 8B Instruct oder Llama 4 Scout. Diese Repositories sind zugangsbeschränkt: Du musst eingeloggt sein und die Lizenz auf der Modellseite akzeptieren, bevor der Download freigeschaltet wird. Die Modellkarten enthalten Beispielcode für die Transformers-Bibliothek von Hugging Face. Da diese Originalgewichte extrem viel Speicher fressen, eignet sich dieser Weg vor allem für Server und das Fine-Tuning.

Tipps für einen reibungslosen Start

• Klein anfangen. Teste zuerst ein 8B- oder 3B-Modell. Wechsle erst auf größere Varianten, wenn dir die Antworten nicht genügen und deine Hardware mitspielt.
• Andere speicherhungrige Apps schließen. Browser mit dutzenden Tabs oder laufende Games buhlen um denselben Arbeitsspeicher.
• Kontext im Rahmen halten. Extrem lange Chatverläufe belegen mehr Speicher und bremsen die Antworten aus. Starte für ein neues Thema lieber einen neuen Chat.
• System-Prompts nutzen. Wenn du dem Modell vorab seine Rolle und den gewünschten Antwortstil erklärst, hilft das besonders kleineren Modellen enorm. Inspirationen findest du in unserer Prompt-Bibliothek.
• Lizenz beachten. Die rein private Nutzung ist völlig unkompliziert. Wenn du jedoch ein eigenes Produkt darauf aufbauen willst, lies dir unseren Leitfaden zur Llama-Lizenz durch.
• Wissensstand beachten. Lokale Modelle durchsuchen standardmäßig nicht das Internet. Das Wissen von Llama 3.x endet im Dezember 2023, das von Llama 4 im August 2024.

Lokal oder online: Was passt zu dir?

Lass Llama lokal laufen, wenn dir Datenschutz, Offline-Verfügbarkeit oder unbegrenzte tägliche Nutzung wichtiger sind als Bequemlichkeit – und wenn du die passende Hardware hast. Greife zum Online-Chat, wenn du die riesigen Llama 4-Modelle ohne teure Hardware nutzen willst oder Llama einfach nur schnell testen möchtest. Du kannst Llama auch per Code über Cloud-Anbieter anbinden; wie das geht, zeigt dir unser Llama API-Guide.

Llama 4 Maverick zuerst online ausprobieren

Häufig gestellte Fragen (FAQ)

Kann ich Llama auch ohne dedizierte Grafikkarte ausführen?

Ja, kleinere Modelle wie Llama 3.2 3B und Llama 3.1 8B laufen auch auf einem normalen Hauptprozessor (CPU) – allerdings deutlich langsamer. Größere Modelle machen ohne starke GPU oder schnellen Unified Memory wenig Spaß.

Ist die lokale Nutzung von Llama kostenlos?

Sowohl die genannten Tools als auch die Modellgewichte von Llama stehen kostenlos zum Download bereit. Die einzigen Kosten sind deine Hardware und der Stromverbrauch.

Können lokale Llama-Modelle auch Bilder verstehen?

Llama 4 Scout und Maverick verarbeiten Bilder, ebenso wie die Vision-Modelle von Llama 3.2. Die reinen Textmodelle (1B, 3B und 8B) unterstützen das nicht.

Welches Tool eignet sich am besten für Einsteiger?

LM Studio, wenn du lieber eine intuitive Desktop-App mit Klick-Oberfläche nutzt. Ollama, wenn dir ein schneller Befehl im Terminal nichts ausmacht.