Jak działają duże modele językowe, takie jak Llama

Gdy wpisujesz pytanie na czacie, Llama nie szuka odpowiedzi w internecie ani w żadnej bazie danych. Tworzy ją krok po kroku, fragment po fragmencie, bazując na wzorcach poznanych podczas treningu. Zrozumienie tej jednej zasady wyjaśnia większość mocnych stron dużych modeli językowych (LLM) oraz niemal wszystkie ich potknięcia. W tym poradniku wyjaśniamy, jak działają te modele – bez skomplikowanej matematyki, na przykładzie modeli Llama dostępnych na naszym czacie.

Tokeny: jak model odczytuje tekst

Modele językowe nie widzą liter ani całych słów. Tekst jest dzielony na tokeny: popularne słowo to często pojedynczy token, rzadsze lub dłuższe wyrazy są dzielone na mniejsze części, a znaki interpunkcyjne również liczą się osobno. Każdy token jest zamieniany na ciąg liczb, na których model może wykonywać obliczenia.

Tokeny tłumaczą niektóre nietypowe zachowania AI. Jeśli zapytasz model, ile razy litera „r” pojawia się w długim słowie, albo poprosisz o przeliterowanie wyrazu od tyłu, może się pomylić – po prostu nigdy nie widział poszczególnych liter. Dlatego też limity (ilość tekstu, jaką model może przetworzyć, czy długość odpowiedzi) mierzy się w tokenach, a nie w słowach. Języki, które wymagają większej liczby tokenów na zdanie (w tym polski), szybciej osiągają te ograniczenia.

Predykcja: jeden token po drugim

W gruncie rzeczy LLM robi tylko jedno: na podstawie dotychczasowego tekstu szacuje prawdopodobieństwo pojawienia się każdego możliwego kolejnego tokena. Wybiera jeden, dodaje go do tekstu i powtarza proces. Długa odpowiedź to setki lub tysiące takich kroków.

Model nie zawsze wybiera ten najbardziej prawdopodobny token. Odrobina kontrolowanej losowości, ustalana parametrem o nazwie temperatura (ang. temperature), sprawia, że odpowiedzi są zróżnicowane i brzmią naturalnie. Właśnie dlatego to samo pytanie może wygenerować inne sformułowania za każdym razem, a kliknięcie przycisku ponownego generowania może przynieść lepszą odpowiedź.

Trening: od generatora tekstu do asystenta

Pre-training (trening wstępny)

Najpierw model przetwarza gigantyczne ilości tekstu i uczy się przewidywać kolejny token. Dokumentacja modeli Meta opisuje dane treningowe Llama 3.3 i 3.1 jako „nowy zestaw publicznie dostępnych danych internetowych” o wielkości ponad 15 bilionów tokenów. Model Llama 4 trenowano na połączeniu danych publicznych, licencjonowanych oraz pochodzących z produktów Meta – około 40 bilionów tokenów w przypadku Scout i 22 biliony dla Maverick. W tym procesie model przyswaja gramatykę, fakty, style wypowiedzi, kod oraz schematy logicznego myślenia, ponieważ wszystko to pomaga mu trafniej przewidywać kolejne słowa.

Dostrajanie instrukcyjne (instruction tuning)

Surowy model potrafi jedynie kontynuować tekst – nie potrafi jeszcze sensownie odpowiadać na pytania. Dlatego jest dotrenowywany na przykładach instrukcji wraz z poprawnymi odpowiedziami oraz na ocenach wystawianych przez ludzi. Dokumentacja Meta określa te etapy jako nadzorowane dostrajanie (SFT – supervised fine-tuning) oraz uczenie przez wzmacnianie na podstawie opinii ludzi (RLHF – reinforcement learning with human feedback). W ten sposób powstaje wersja „Instruct”, z którą rozmawiasz na czacie.

Data odcięcia wiedzy (knowledge cut-off)

Dane treningowe kończą się w określonym momencie, a model nie wie nic o wydarzeniach po tej dacie. Według dokumentacji Meta data odcięcia wiedzy to sierpień 2024 dla modeli Llama 4 Maverick i Scout oraz grudzień 2023 dla Llama 3.3 70B i Llama 3.1 8B. Jeśli zapytasz o coś nowszego, model po prostu przyzna, że nie wie, albo – co gorsza – zacznie zgadywać. Nasz czat nie ma dostępu do internetu, więc nie uzupełni tych braków na bieżąco.

Kontekst: pamięć robocza modelu

Wszystko, co model bierze pod uwagę podczas pisania odpowiedzi (instrukcje systemowe, dotychczasowa rozmowa i Twoja nowa wiadomość), to tak zwany kontekst. Model nie ma żadnej pamięci poza nim. Gdy zaczynasz nowy czat, model nie pamięta niczego z poprzednich rozmów.

Maksymalny rozmiar kontekstu to okno kontekstu (context window), mierzone w tokenach. Dokumentacja Meta podaje 128 tys. tokenów dla Llama 3.3 i 3.1, 1 mln dla Llama 4 Maverick oraz 10 mln dla Llama 4 Scout. Dostawca infrastruktury, z którego korzystamy, oferuje około 524 tys. dla wersji Maverick i około 1,3 mln dla Scout. Nasz czat przesyła krótszy wycinek każdej rozmowy, aby odpowiedzi pojawiały się błyskawicznie – dlatego bardzo wczesne wiadomości w długiej konwersacji mogą z czasem przestać wpływać na odpowiedzi.

Mixture of Experts: jak zbudowano model Llama 4

Modele Llama 3 to modele gęste (dense): każdy parametr (czyli wyuczona waga liczbowa wewnątrz modelu) bierze udział w generowaniu każdego tokena. Llama 4 korzysta z architektury Mixture of Experts (MoE). Model zawiera wiele wyspecjalizowanych podsieci zwanych ekspertami, a przy każdym tokenie aktywna jest tylko część z nich. Z danych technicznych Meta wynika, że Llama 4 Scout wykorzystuje 17 miliardów aktywnych parametrów ze 109 miliardów wszystkich (16 ekspertów), natomiast Llama 4 Maverick – 17 miliardów aktywnych z 400 miliardów ogółem (128 ekspertów). Pozwala to zachować ogromną bazę wiedzy przy znacznie niższym koszcie obliczeniowym na token niż w tradycyjnym modelu gęstym o tym samym rozmiarze.

Llama 4 to także model natywnie multimodalny. Meta zastosowała podejście „early fusion”: tekst i obrazy są przetwarzane wspólnie w ramach jednego modelu, a nie przez osobną nakładkę. Właśnie dlatego Maverick i Scout potrafią odpowiadać na pytania dotyczące załączonych zdjęć, podczas gdy wyłącznie tekstowe modele Llama 3 tego nie potrafią.

Dlaczego modele zmyślają

Model językowy jest szkolony tak, aby generować wiarygodnie brzmiący tekst, a nie sprawdzać jego prawdziwość. Jeśli dobrze przyswoił dany fakt, wiarygodność pokrywa się z prawdą. Gdy jednak czegoś nie wie (rzadkie nazwisko, dokładna liczba, niedawne wydarzenie, źródło naukowe), nadal generuje tekst, który brzmi przekonująco. Zjawisko to nazywamy halucynacją. To nie celowe kłamstwo – model po prostu nie ma osobnej encyklopedii faktów, którą mógłby sprawdzić.

• Dokładne liczby, daty, cytaty i źródła to elementy, w których pomyłki zdarzają się najczęściej.
• Pytanie „czy na pewno?” może wywołać sprostowanie albo... niepotrzebne przeprosiny za poprawną odpowiedź. To nie jest skuteczny test.
• Podanie modelowi tekstu źródłowego i nakazanie pracy wyłącznie na nim drastycznie zmniejsza liczbę błędów.

Różnicę widać wyraźnie na dwóch wersjach tego samego pytania:

Z pamięci (większe ryzyko błędu):
W którym roku powstała biblioteka miejska w [moje miasto] i kto ją ufundował?

Na podstawie źródła (bezpieczniej):
Korzystając wyłącznie z poniższego tekstu, napisz, kiedy powstała biblioteka
i kto ją ufundował. Jeśli w tekście nie ma tych informacji, napisz „brak danych”.
"""
[wklej fragment ze strony internetowej biblioteki]
"""

W pierwszym przypadku model prawdopodobnie ma znikomą wiedzę o Twojej lokalnej bibliotece i może pewnym tonem podać zmyśloną datę. W drugim przypadku fakty znajdują się bezpośrednio w kontekście, więc wystarczy je odczytać. Podobnie działa nasze narzędzie do streszczania tekstu – opiera się wyłącznie na wprowadzonym materiale.

Więcej praktycznych wskazówek znajdziesz w naszym poradniku o weryfikowaniu odpowiedzi AI.

Co to oznacza w praktyce na czacie?

Chcesz zobaczyć te mechanizmy w akcji? Poproś Llamę, by sama wyjaśniła swoje działanie. Jeśli interesuje Cię skuteczna praca z modelami, sprawdź jak pisać dobre prompty. Więcej o samej technologii dowiesz się z artykułów czym jest Llama oraz historia rodziny modeli Llama.

Często zadawane pytania (FAQ)

Czy Llama rozumie to, co pisze?

Wszystko zależy od definicji „rozumienia”, a sami naukowcy nie są tu jednomyślni. W praktyce model operuje znaczeniami na tyle sprawnie, by streszczać, tłumaczyć i rozwiązywać skomplikowane problemy, a jednocześnie potrafi wyłożyć się na zadaniach prostych dla dziecka. Oceniaj jakość po efektach, a nie po tym, jak naturalnie brzmi styl wypowiedzi.

Czy model uczy się na moich rozmowach?

Nie. Parametry modelu nie zmieniają się w trakcie rozmowy. W ramach jednego wątku Llama korzysta z Twoich wiadomości jako bieżącego kontekstu. Gdy zamkniesz czat lub otworzysz nowy, ten kontekst znika.

Czym różni się Llama od ChatGPT?

Oba rozwiązania to duże modele językowe oparte na zbliżonych zasadach. Llama to rodzina modeli stworzona przez firmę Meta, udostępniana na otwartej licencji (open weights), dzięki czemu każdy może ją pobrać i uruchomić lokalnie. ChatGPT to aplikacja firmy OpenAI, która oferuje dostęp do ich modeli w chmurze w formie usługi abonamentowej lub darmowej. Zobacz pełne porównanie: Llama vs ChatGPT.

Czym są parametry modelu?

To wewnętrzne zmienne liczbowe modelu, które dostrajają się w trakcie treningu. Większa liczba parametrów pozwala zapamiętać więcej wzorców i zależności, ale wymaga większej mocy obliczeniowej. Sam rozmiar nie przesądza jednak o jakości – kluczowe są także dane treningowe i proces dostrajania.

Dlaczego tylko niektóre modele obsługują obrazy?

Modele Llama 4 Maverick i Scout były od początku trenowane zarówno na tekście, jak i na obrazach. Llama 3.3 70B oraz Llama 3.1 8B to modele czysto tekstowe, więc nie potrafią interpretować grafik. W naszym przewodniku o tym, jaki model Llama wybrać, porównujemy możliwości wszystkich czterech wersji.