Jak spustit Llama lokálně

Proč provozovat Llama na vlastním počítači

Váhy modelů Llama zveřejňuje přímo Meta, takže si na rozdíl od uzavřených chatbotů můžete model Llama stáhnout a spustit na vlastním počítači. Po stažení funguje zcela offline, vaše zprávy nikdy neopustí zařízení a nečekají vás žádné limity ani poplatky za tokeny. Daní za to je hardware: větší modely vyžadují spoustu paměti a běžný notebook bude odpovídat pomaleji než cloudový server.

Tento průvodce představuje tři nejběžnější nástroje, od nejjednoduššího po nejpokročilejší: Ollama, LM Studio a llama.cpp. Pokud si chcete Llama jen vyzkoušet, náš bezplatný chat s Llama nevyžaduje vůbec žádnou instalaci.

Vyberte model, který váš počítač zvládne

Nejdůležitějším rozhodnutím je velikost modelu. Základní pravidlo: potřebujete alespoň tolik volné paměti (videopaměti grafické karty nebo sjednocené paměti na čipech Apple Silicon), kolik zabírá samotný soubor s modelem, plus rezervu na konverzaci. Pokud se model do paměti nevejde, buď se nespustí vůbec, nebo poběží extrémně pomalu z běžné systémové RAM.

Zde jsou velikosti ke stažení, které Ollama uvádí pro své výchozí verze jednotlivých modelů Llama. Jde o komprimované (kvantizované) soubory, což je způsob, jakým většina lidí provozuje modely doma.

Pokud si nejste jisti, začněte s Llama 3.1 8B. Je dostatečně kompaktní pro většinu novějších notebooků a zároveň dost schopný na to, aby byl reálně užitečný. Produktový list od společnosti Meta k modelu Llama 4 Scout uvádí, že se při 4bitové kvantizaci (Int4) vejde na jediný datacentrový grafický akcelerátor H100, což dobře ilustruje měřítko modelů Llama 4.

Možnost 1: Ollama (nejjednodušší volba)

Ollama je aplikace, která stáhne a spustí modely jediným příkazem a udržuje je připravené k okamžitému použití.

1. Nainstalujte Ollama z oficiálního webu.
2. Otevřete terminál a spusťte příkaz ollama run llama3.1. Při prvním spuštění se model stáhne, poté už startuje během několika sekund.
3. Zadejte svůj dotaz na řádek a stiskněte Enter.

Ostatní modely Llama fungují stejně, například ollama run llama3.2 nebo ollama run llama4:scout. Stránky knihovny Ollama pro Llama 3.1, Llama 3.2 a Llama 4 obsahují seznam všech dostupných velikostí. Na stránce Llama 4 uvádí Ollama kontextové okno 10M pro Scout a 1M pro Maverick – oba modely si poradí s textem i obrázky.

Ollama navíc spouští lokální server, takže model můžete snadno volat z vlastních skriptů. Požadavek na chat vypadá takto:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Možnost 2: LM Studio (desktopová aplikace)

LM Studio je bezplatná desktopová aplikace s klasickým chatovacím rozhraním, takže terminál vůbec nebudete potřebovat.

1. Stáhněte si LM Studio pro svůj operační systém a spusťte jej.
2. Otevřete záložku Discover, vyhledejte „Llama“ a stáhněte verzi odpovídající vaší paměti.
3. Přejděte na záložku Chat, nahoře vyberte stažený model a začněte konverzovat.

LM Studio může sloužit také jako lokální server kompatibilní s rozhraním API od OpenAI, standardně na adrese http://localhost:1234/v1. Řadu existujících nástrojů tak můžete jednoduše nasměrovat na tuto adresu místo cloudu. Podívejte se na návod k začátkům s LM Studio a dokumentaci k serveru kompatibilnímu s OpenAI.

Možnost 3: llama.cpp (maximální kontrola)

llama.cpp je open-source jádro, které pohání většinu nástrojů pro lokální AI. Jeho přímé použití vám dává absolutní kontrolu nad nastavením výkonu. Spouští modely ve formátu GGUF, podporuje kvantizaci od 1,5 bitu po 8 bitů pro zmenšení modelů a nabízí prvotřídní optimalizaci pro Apple Silicon.

1. Nainstalujte jej. V dokumentaci README najdete jednorázové instalační příkazy: curl -LsSf https://llama.app/install.sh | sh pro macOS a Linux, nebo irm https://llama.app/install.ps1 | iex pro Windows PowerShell.
2. Chatujte přímo v terminálu s modelem GGUF z platformy Hugging Face: llama cli -hf <user>/<repo>.
3. Nebo spusťte lokální server kompatibilní s OpenAI: llama serve -hf <user>/<repo>.

Zástupný text nahraďte repozitářem na Hugging Face s verzí GGUF požadovaného modelu Llama. V popisu repozitáře si ověřte úroveň kvantizace – menší soubory vyžadují méně paměti, ale dochází u nich k mírnému snížení kvality.

Možnost 4: Původní váhy od společnosti Meta

Vývojáři, kteří vyžadují váhy v plné přesnosti, si je mohou stáhnout ze stránek společnosti Meta na platformě Hugging Face, například Llama 3.1 8B Instruct nebo Llama 4 Scout. Tyto repozitáře jsou chráněné: před odemknutím souborů se musíte přihlásit a odsouhlasit licenční podmínky přímo na stránce modelu. Karty modelů obsahují ukázkový kód pro knihovnu Transformers od Hugging Face. Modely v plné přesnosti spotřebují výrazně více paměti než výše uvedené kvantizované verze, tato cesta je proto určena hlavně pro servery a dotrénování (fine-tuning).

Tipy pro hladký začátek

• Začněte zlehka. Nejprve vyzkoušejte model 8B nebo 3B. Na větší přejděte jen tehdy, pokud vám kvalita odpovědí nestačí a hardware to zvládne.
• Zavřete náročné aplikace. Prohlížeče se desítkami záložek i hry soupeří o stejnou operační paměť.
• Udržujte rozumnou délku konverzace. Velmi dlouhé chaty spotřebovávají více paměti a zpomalují odezvu. Pro nové téma raději otevřete nový chat.
• Používejte systémový prompt. Pokud modelu vymezíte roli a požadovaný styl odpovědí, menším modelům to nesmírně pomůže. Inspiraci nabízí naše knihovna promptů.
• Nezapomeňte na licenci. Provoz pro vlastní potřebu je bez překážek, pokud však stavíte komerční produkt, prostudujte si našeho průvodce licencí Llama.
• Počítejte s časovým omezením znalostí. Lokální modely neprohledávají web. Znalosti modelů Llama 3.x končí v prosinci 2023, u Llama 4 v srpnu 2024.

Lokálně, nebo online: co zvolit?

Lokální Llama zvolte v případě, kdy jsou pro vás soukromí, práce offline nebo intenzivní každodenní využití důležitější než pohodlí – a máte-li odpovídající hardware. Online chat využijte tehdy, když si chcete vyzkoušet větší modely Llama 4 bez drahého vybavení, nebo se s Llama teprve seznamujete. K modelům Llama se můžete připojit také programově přes cloudové poskytovatele; tomuto tématu se věnuje náš průvodce Llama API.

Vyzkoušejte Llama 4 Maverick nejprve online

Často kladené otázky

Lze spustit Llama bez výkonné grafické karty?

Ano, menší modely jako Llama 3.2 3B a Llama 3.1 8B poběží i na běžném procesoru, jen o poznání pomaleji. Větší modely jsou bez výkonného GPU nebo velké sjednocené paměti prakticky nepoužitelné.

Je lokální provoz Llama zdarma?

Výše zmíněný software i váhy modelů Llama jsou ke stažení zdarma. Jedinými náklady jsou váš hardware a spotřebovaná elektřina.

Dokáže lokální model Llama zpracovat obrázky?

Llama 4 Scout a Maverick vstupní obrázky podporují, stejně jako multimodální modely Llama 3.2 Vision. Ryze textové verze 1B, 3B a 8B obrázky zpracovat neumí.

Jaký nástroj je nejlepší pro začátečníky?

LM Studio, pokud preferujete přehlednou desktopovou aplikaci a klikání myší, nebo Ollama, pokud vám nevadí zadat jeden příkaz do terminálu.