Jak uruchomić Llamę lokalnie

Dlaczego warto uruchomić Llama na własnym komputerze

Wagi Llama są udostępniane przez Meta, więc w przeciwieństwie do zamkniętych chatbotów możesz pobrać model Llama i uruchomić go na własnym sprzęcie. Po pobraniu działa offline, Twoje prompty nigdy nie opuszczają komputera i nie ma tu żadnych limitów wiadomości ani opłat za tokeny. Ceną za to są wymagania sprzętowe: większe modele potrzebują mnóstwa pamięci, a laptop odpowie wolniej niż serwer w chmurze.

Ten poradnik omawia trzy najpopularniejsze narzędzia, od najprostszego po najbardziej zaawansowane: Ollama, LM Studio i llama.cpp. Jeśli chcesz po prostu wypróbować Llama AI, nasz darmowy czat Llama nie wymaga żadnej instalacji.

Wybierz model dopasowany do swojego sprzętu

Najważniejszą decyzją jest rozmiar modelu. Prosta zasada: potrzebujesz co najmniej tyle wolnej pamięci (VRAM karty graficznej lub pamięci zunifikowanej na Apple Silicon), ile waży plik modelu, plus zapas na samą konwersację. Jeśli model się nie zmieści, albo w ogóle się nie załaduje, albo będzie działać bardzo wolno z poziomu zwykłego RAM-u.

Oto rozmiary pobierania, które Ollama podaje dla domyślnych wersji każdego modelu Llama. Są to pliki skompresowane (skwantyzowane) – w ten sposób większość osób uruchamia modele w domu.

Jeśli nie masz pewności, zacznij od Llama 3.1 8B. Jest wystarczająco mały dla wielu współczesnych laptopów i na tyle sprawny, by realnie pomóc. Oficjalna karta modelu Llama 4 Scout od Meta wskazuje, że mieści się on na pojedynczym GPU H100 z kwantyzacją Int4, co dobrze obrazuje skalę modeli Llama 4.

Opcja 1: Ollama (najprostsza)

Ollama to narzędzie, które pobiera i uruchamia modele jedną komendą, utrzymując je w gotowości do użycia.

1. Zainstaluj Ollama z oficjalnej strony projektu.
2. Otwórz terminal i wpisz ollama run llama3.1. Pierwsze uruchomienie pobierze model; kolejne zajmą zaledwie parę sekund.
3. Wpisz swoje pytanie w wierszu poleceń i naciśnij Enter.

Inne modele Llama działają dokładnie tak samo, np. ollama run llama3.2 czy ollama run llama4:scout. Strony biblioteki Ollama dla Llama 3.1, Llama 3.2 i Llama 4 zawierają wszystkie dostępne rozmiary. Na stronie Llama 4 Ollama wskazuje dla wersji Scout okno kontekstu rzędu 10M, a dla Maverick 1M – obie obsługują tekst i obrazy.

Ollama działa także jako lokalny serwer, dzięki czemu z modelu mogą korzystać Twoje własne skrypty. Zapytanie na czacie wygląda tak:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Wyjaśnij pojęcie rekurencji w dwóch zdaniach."}]
}'

Opcja 2: LM Studio (aplikacja desktopowa)

LM Studio to darmowa aplikacja z tradycyjnym oknem czatu, dzięki której w ogóle nie musisz dotykać terminala.

1. Pobierz LM Studio dla swojego systemu i uruchom program.
2. Przejdź do zakładki Discover, wyszukaj „Llama” i pobierz wersję dopasowaną do Twojej pamięci.
3. Wejdź w zakładkę Chat, wybierz model z listy na górze i zacznij rozmawiać.

LM Studio może również działać jako lokalny serwer zgodny z formatem API OpenAI – domyślnie pod adresem http://localhost:1234/v1. Wiele istniejących narzędzi można po prostu skierować na ten adres zamiast na chmurę. Sprawdź poradnik wprowadzający do LM Studio oraz dokumentację serwera kompatybilnego z OpenAI.

Opcja 3: llama.cpp (maksymalna kontrola)

llama.cpp to otwartoźródłowy silnik, który napędza większość lokalnych narzędzi AI. Korzystanie z niego bezpośrednio daje pełną kontrolę nad parametrami wydajności. Obsługuje modele w formacie GGUF, pozwala na kwantyzację od 1,5 do 8 bitów w celu zmniejszenia rozmiaru i jest idealnie zoptymalizowany pod Apple Silicon.

1. Zainstaluj narzędzie. W pliku README projektu znajdziesz polecenia szybkiej instalacji: curl -LsSf https://llama.app/install.sh | sh dla macOS i Linuksa lub irm https://llama.app/install.ps1 | iex w Windows PowerShell.
2. Rozmawiaj w terminalu z modelem GGUF z Hugging Face: llama cli -hf <user>/<repo>.
3. Albo uruchom lokalny serwer zgodny z OpenAI: llama serve -hf <user>/<repo>.

Zastąp placeholder repozytorium na Hugging Face z wersją GGUF wybranego modelu Llama. Zwróć uwagę na opis repozytorium, aby sprawdzić stopień kwantyzacji – mniejsze pliki zajmują mniej pamięci, ale tracą nieco na jakości.

Opcja 4: oryginalne wagi od Meta

Deweloperzy szukający wag w pełnej precyzji mogą pobrać je z oficjalnych stron Meta na platformie Hugging Face, takich jak Llama 3.1 8B Instruct czy Llama 4 Scout. Dostęp do nich wymaga zgody: musisz się zalogować i zaakceptować licencję na stronie danego modelu. Karty modeli zawierają przykładowy kod dla biblioteki Transformers od Hugging Face. Wagi w pełnej precyzji wymagają znacznie więcej pamięci niż wymienione wyżej wersje skwantyzowane, więc to rozwiązanie głównie na serwery i do fine-tuningu.

Wskazówki na dobry początek

• Zacznij od mniejszych modeli. Najpierw wypróbuj wersję 8B lub 3B. Przejdź na większy model tylko wtedy, gdy odpowiedzi nie są zadowalające, a Twój sprzęt ma jeszcze spory zapas mocy.
• Zamknij inne wymagające aplikacje. Przeglądarki z dziesiątkami kart i gry rywalizują o tę samą pamięć.
• Ograniczaj długość kontekstu. Bardzo długie rozmowy zużywają więcej RAM-u i spowalniają generowanie. Do nowego wątku lepiej założyć osobny czat.
• Korzystaj z promptu systemowego. Określenie roli modelu i oczekiwanego stylu wypowiedzi diametralnie poprawia działanie mniejszych wersji. Pomysły znajdziesz w naszej bibliotece promptów.
• Pamiętaj o licencji. Używanie modelu na własne potrzeby jest proste, ale jeśli budujesz na nim produkt komercyjny, przeczytaj nasz przewodnik po licencji Llama.
• Liczy się data odcięcia wiedzy. Lokalne modele nie przeszukują internetu. Baza wiedzy Llama 3.x kończy się na grudniu 2023 r., a Llama 4 na sierpniu 2024 r.

Lokalnie czy w chmurze: co wybrać?

Wybierz model uruchamiany lokalnie, jeśli prywatność, praca offline lub intensywne, codzienne korzystanie są dla Ciebie ważniejsze niż wygoda, a Twój komputer na to pozwala. Wybierz czat online, gdy chcesz korzystać z potężniejszych modeli Llama 4 bez kupowania drogiego sprzętu lub po prostu chcesz poznać możliwości Llama AI. Z modeli Llama możesz też korzystać przez API u dostawców chmurowych – opisaliśmy to w naszym poradniku po API Llama.

Wypróbuj Llama 4 Maverick online bez instalacji

FAQ

Czy mogę uruchomić Llama bez dedykowanej karty graficznej?

Tak, małe modele, takie jak Llama 3.2 3B i Llama 3.1 8B, działają na zwykłym procesorze, choć zauważalnie wolniej. Uruchamianie większych modeli bez mocnego GPU lub dużej ilości pamięci zunifikowanej mija się z celem.

Czy korzystanie z Llama lokalnie jest darmowe?

Wszystkie wymienione programy oraz wagi Llama są w pełni darmowe. Płacisz wyłącznie za swój sprzęt i zużyty prąd.

Czy lokalny model Llama obsługuje obrazy?

Llama 4 Scout i Maverick radzą sobie z obrazami, podobnie jak modele Llama 3.2 Vision. Modele czysto tekstowe 1B, 3B i 8B przetwarzają tylko tekst.

Które narzędzie wybrać na początek?

LM Studio, jeśli wolisz przejrzyste okno aplikacji i klikanie myszką, a Ollama, jeśli nie masz problemu z wpisaniem jednej prostej komendy w terminalu.