Hur du kör Llama lokalt

Varför köra Llama på din egen dator

Metas Llama-vikter är öppet tillgängliga, så till skillnad från stängda chattbotar kan du ladda ner en Llama-modell och köra den direkt på din egen maskin. När den väl är nedladdad fungerar den offline, dina prompts lämnar aldrig datorn och det finns varken meddelandebegränsningar eller kostnader per token. Nackdelen är hårdvarukraven: större modeller kräver mycket minne, och en bärbar dator svarar långsammare än en molnserver.

Den här guiden går igenom de tre vanligaste verktygen, från enklast till mest avancerat: Ollama, LM Studio och llama.cpp. Vill du bara testa Llama kräver vår kostnadsfria Llama-chatt ingen installation alls.

Välj en modell som passar din dator

Det absolut viktigaste valet är modellens storlek. En enkel tumregel: du behöver minst lika mycket ledigt minne (grafikminne eller delat minne på Apple silicon) som modellfilen är stor, plus lite extra utrymme för själva konversationen. Får modellen inte plats vägrar den antingen att laddas eller så körs den extremt långsamt via det vanliga systemminnet.

Här är nedladdningsstorlekarna som Ollama anger för sina standardversioner av varje Llama-modell. Det rör sig om komprimerade (kvantiserade) filer, vilket är så de flesta kör modeller hemma.

Är du osäker är Llama 3.1 8B en bra start. Den är tillräckligt liten för många moderna bärbara datorer och tillräckligt kapabel för att vara riktigt användbar. Metas eget modellkort för Llama 4 Scout nämner att den ryms på en enda H100-datacenter-GPU med Int4-kvantisering, vilket ger en fingervisning om skalan på Llama 4-modellerna.

Alternativ 1: Ollama (enklast)

Ollama är ett program som laddar ner och kör modeller med ett enda kommando och håller dem redo för senare användning.

1. Installera Ollama från deras officiella webbplats.
2. Öppna en terminal och kör ollama run llama3.1. Första gången laddas modellen ner; därefter startar den på några sekunder.
3. Skriv din fråga vid prompten och tryck på Enter.

Andra Llama-modeller fungerar på samma sätt, till exempel ollama run llama3.2 eller ollama run llama4:scout. Ollamas bibliotekssidor för Llama 3.1, Llama 3.2 och Llama 4 listar alla tillgängliga storlekar. På sidan för Llama 4 anger Ollama att Scout har ett kontextfönster på 10M tokens och Maverick på 1M tokens, och båda hanterar text och bilder.

Ollama körs även som en lokal server så att dina egna skript kan använda modellen. Ett chatt-anrop ser ut så här:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Förklara rekursion i två meningar."}]
}'

Alternativ 2: LM Studio (skrivbordsapp)

LM Studio är en kostnadsfri skrivbordsapp med ett grafiskt chattfönster, så du slipper använda terminalen helt.

1. Ladda ner LM Studio för ditt operativsystem och öppna appen.
2. Gå till fliken Discover, sök efter "Llama" och ladda ner en version som passar ditt minne.
3. Gå till fliken Chat, välj modellen i modellväljaren längst upp och börja chatta.

LM Studio kan också fungera som en lokal server som använder samma format som OpenAIs API, som standard på http://localhost:1234/v1. Många befintliga verktyg kan kopplas dit istället för till en molntjänst. Läs mer i kom igång-guiden för LM Studio och dokumentationen för OpenAI-kompatibla servrar.

Alternativ 3: llama.cpp (maximal kontroll)

llama.cpp är den öppna källkodsmotor som driver många lokala AI-verktyg. Genom att använda den direkt får du bäst kontroll över prestandainställningarna. Den kör modeller i filformatet GGUF, stöder kvantisering från 1,5-bit till 8-bit för att minska modellernas storlek och är optimerad för Apple silicon från grunden.

1. Installera verktyget. Projektets README erbjuder enkla installationskommandon: curl -LsSf https://llama.app/install.sh | sh på macOS och Linux, eller irm https://llama.app/install.ps1 | iex i Windows PowerShell.
2. Chatta i terminalen med en GGUF-modell från Hugging Face: llama cli -hf <user>/<repo>.
3. Eller starta en lokal OpenAI-kompatibel server: llama serve -hf <user>/<repo>.

Ersätt platshållaren med det Hugging Face-arkiv där GGUF-versionen av den Llama-modell du vill ha finns. Läs arkivets beskrivning för att se vilken kvantisering varje fil använder; mindre filer kräver mindre minne men ger något sämre kvalitet.

Alternativ 4: originalvikterna från Meta

Utvecklare som vill ha vikterna i full precision kan ladda ner dem från Metas sidor på Hugging Face, som Llama 3.1 8B Instruct eller Llama 4 Scout. Dessa arkiv kräver godkännande: du måste logga in och godkänna licensen på modellsidan innan filerna låses upp. Modellkorten innehåller exempelkod för biblioteket Hugging Face Transformers. Vikter i full precision kräver betydligt mer minne än de kvantiserade versionerna ovan, så denna lösning passar främst för servrar och finjustering (fine-tuning).

Tips för att komma igång smidigt

• Börja smått. Testa en 8B- eller 3B-modell först. Gå bara uppåt om svaren inte räcker till och din hårdvara klarar det.
• Stäng krävande program. Webbläsare med många flikar och spel slåss om samma minne.
• Håll nere kontexten. Väldigt långa konversationer drar mer minne och gör modellen långsammare. Starta en ny chatt för ett nytt ämne.
• Använd en systemprompt. Att berätta för modellen vilken roll den har och hur den ska svara hjälper särskilt mindre modeller enormt. Vårt promptbibliotek har gott om idéer.
• Tänk på licensen. Att köra en modell för eget bruk är inga problem, men bygger du en produkt bör du läsa vår guide om Llama-licensen.
• Räkna med äldre kunskap. Lokala modeller söker inte på webben. Kunskapen i Llama 3.x sträcker sig till december 2023 och Llama 4 till augusti 2024.

Lokalt eller online: vad ska man välja?

Kör Llama lokalt när integritet, offline-åtkomst eller intensiv daglig användning väger tyngre än bekvämlighet, och när du har tillräcklig hårdvara. Välj en onlinechatt när du vill använda de större Llama 4-modellerna utan en kraftfull dator, eller om du bara vill testa Llama lite snabbt. Du kan även anropa Llama via kod via olika molnleverantörer – läs mer i vår guide om Llama API.

Testa Llama 4 Maverick online först

Vanliga frågor

Kan jag köra Llama utan ett dedikerat grafikkort?

Ja, mindre modeller som Llama 3.2 3B och Llama 3.1 8B fungerar på en vanlig processor, men det går långsammare. Större modeller blir snabbt oanvändbara utan ett kraftfullt grafikkort eller gott om delat minne.

Är det gratis att köra Llama lokalt?

Programmen ovan och Llamas modellvikter är helt gratis att ladda ner. De enda kostnaderna är din hårdvara och elförbrukningen.

Kan en lokal Llama-modell förstå bilder?

Llama 4 Scout och Maverick hanterar bilder, liksom modellerna i Llama 3.2 Vision. De rena textmodellerna 1B, 3B och 8B gör det inte.

Vilket verktyg passar bäst för nybörjare?

LM Studio om du föredrar ett klickbart gränssnitt i en skrivbordsapp, och Ollama om du är bekväm med att köra ett enkelt kommando i terminalen.