Llama gibi büyük dil modelleri nasıl çalışır?

Sohbete bir soru yazdığınızda Llama bu cevabı herhangi bir yerden arayıp bulmaz. Eğitimi sırasında öğrendiği kalıplara dayanarak cevabı adım adım, küçük parçalar halinde yazar. Bu temel mantığı kavramak, büyük dil modellerinin (LLM) neleri iyi yaptığını ve hangi noktalarda yetersiz kaldığını anlamanın en kolay yoludur. Bu rehberde, hiçbir matematiksel detaya girmeden ve sohbetimizdeki Llama modellerini örnek alarak bu sistemlerin nasıl çalıştığını anlatıyoruz.

Tokenlar: Model metinleri nasıl okur?

Dil modelleri harfleri veya tam kelimeleri bizim gibi görmez. Metinler token adı verilen parçalara ayrılır: Yaygın bir kelime genellikle tek bir tokendır; daha uzun veya nadir kelimeler parçalara bölünür ve noktalama işaretleri de ayrı birer token sayılır. Her token, modelin işlem yapabileceği bir sayı dizisine dönüştürülür.

Token yapısı, modellerin bazı tuhaf davranışlarını da açıklar. Bir modele uzun bir kelimede "r" harfinin kaç kez geçtiğini sorarsanız veya bir kelimeyi tersten yazmasını isterseniz hata yapabilir; çünkü kelimeyi hiçbir zaman harf harf görmemiştir. Modellerin okuyabileceği metin miktarının veya üretebileceği yanıt uzunluğunun kelime yerine token ile ölçülmesinin nedeni de budur. Cümle başına daha fazla token gerektiren diller bu sınırlara daha çabuk ulaşır.

Tahmin: Her seferinde tek bir token

Bir LLM temelde tek bir işlem yapar: O ana kadarki metne bakarak bir sonraki olası tokenın hangisi olabileceğini tahmin eder. Birini seçer, metne ekler ve işlemi tekrarlar. Uzun bir yanıt, arka arkaya gerçekleşen yüzlerce veya binlerce tahmin adımından oluşur.

Model her zaman olasılığı en yüksek olan tek bir tokenı seçmez. Genellikle temperature (sıcaklık) parametresiyle belirlenen kontrollü bir rastgelelik, yanıtların daha çeşitli ve doğal kalmasını sağlar. Aynı soruyu sorduğunuzda her defasında farklı cümleler kurulmasının ve "yeniden oluştur" düğmesine bastığınızda bazen daha iyi bir yanıt almanızın sebebi budur.

Eğitim: Metin tahmincisinden asistana

Ön eğitim (Pre-training)

Model önce devasa miktarda metin okur ve bir sonraki tokenı tahmin etmeyi öğrenir. Meta'nın model kartları, Llama 3.3 ve 3.1 için ön eğitim verisini 15 trilyondan fazla tokendan oluşan "herkese açık çevrim içi verilerin yeni bir karması" olarak tanımlar. Llama 4 ise kamuya açık veriler, lisanslı içerikler ve Meta ürünlerinden gelen bilgilerin karışımıyla eğitilmiştir (Scout için yaklaşık 40 trilyon, Maverick için 22 trilyon token). Bu süreçte model dil bilgisini, olgusal bilgileri, anlatım tarzlarını, kodları ve akıl yürütme kalıplarını kavrar; çünkü tüm bunlar bir sonraki tahmini daha isabetli yapmasına yardımcı olur.

Talimat uyumlulaştırma (Instruction tuning)

Ham bir tahmin modeli yalnızca metnin devamını getirir; sorulara doğrudan ve faydalı yanıtlar veremez. Bu nedenle model, başarılı yanıtlar içeren talimat örnekleriyle ve insanların hangi yanıtların daha iyi olduğuna dair verdiği geri bildirimlerle eğitilmeye devam eder. Meta'nın Llama 3.x model kartlarında bu adımlar denetimli ince ayar (SFT) ve insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) olarak adlandırılır. Karşınızda sohbet ettiğiniz "Instruct" sürümü işte bu sürecin ürünüdür.

Bilgi kesilme tarihi (Knowledge cut-off)

Eğitim verisi belirli bir tarihte sona erer ve model bu tarihten sonraki gelişmeler hakkında hiçbir şey bilmez. Meta'nın model kartlarına göre bilgi kesilme tarihi Llama 4 Maverick ve Scout için Ağustos 2024; Llama 3.3 70B ve Llama 3.1 8B için ise Aralık 2023'tür. Bu tarihlerden sonrasını sorduğunuzda model ya bilmediğini söyler ya da daha kötüsü, tahmin yürütür. Sohbet sistemimizde bu açığı kapatacak bir internet erişimi bulunmamaktadır.

Bağlam (Context): Modelin çalışma belleği

Modelin bir yanıt üretirken göz önünde bulundurduğu her şey (talimatlar, o ana kadarki sohbet geçmişi ve yeni mesajınız) modelin bağlamını (context) oluşturur. Bunun ötesinde kalıcı bir hafızası yoktur. Yeni bir sohbet başlattığınızda model önceki konuşmalarınıza dair hiçbir şey hatırlamaz.

Maksimum kapasiteye bağlam penceresi (context window) denir ve token cinsinden ölçülür. Meta'nın model kartları Llama 3.3 ve 3.1 için 128K; Llama 4 Maverick için 1M ve Llama 4 Scout için 10M token belirtmektedir. Kullandığımız altyapı sağlayıcısı Maverick için yaklaşık 524K, Scout için ise yaklaşık 1,3M token sunar. Sohbetimiz yanıtların hızlı kalmasını sağlamak adına her konuşmanın daha kısa bir bölümünü gönderir; bu yüzden uzun sohbetlerde çok eski mesajlar bir süre sonra yanıtları etkilemeyi bırakabilir.

Uzmanlar karması (Mixture of Experts): Llama 4 mimarisi

Llama 3 modelleri yoğundur (dense): Modeldeki her bir parametre (eğitimle öğrenilen sayılar) her token için aktif olarak kullanılır. Llama 4 ise uzmanlar karması (mixture-of-experts - MoE) mimarisini kullanır. Model, uzman adı verilen çok sayıda özelleşmiş alt ağdan oluşur ve her token için yalnızca bunların bir kısmı devreye girer. Meta'nın model kartındaki verilere göre: Llama 4 Scout, 109 milyarlık toplam parametrenin 17 milyarını aktif olarak kullanır ve 16 uzmana sahiptir; Llama 4 Maverick ise 400 milyarın 17 milyarını aktif tutar ve 128 uzmandan oluşur. Bu yaklaşım, devasa miktarda bilgiyi saklarken aynı toplam boyuttaki yoğun bir modele kıyasla token başına çok daha düşük işlem maliyeti sağlar.

Llama 4 ayrıca doğuştan çok modludur (natively multimodal). Meta bunu "erken füzyon" olarak tanımlar: Metin ve görseller ayrı bir eklenti yerine tek bir model içinde birlikte işlenir. Maverick ve Scout'un yüklediğiniz fotoğraflarla ilgili soruları yanıtlayabilmesinin, yalnızca metin tabanlı Llama 3 modellerinin ise bunu yapamamasının nedeni budur.

Modeller neden bilgi uydurur?

Bir dil modeli bilgilerin doğruluğunu teyit etmek için değil, kulağa mantıklı gelen metinler üretmek için eğitilir. Bir bilgiyi iyi öğrendiyse mantıklı olan ile doğru olan örtüşür. Ancak iyi öğrenmediği bir konuyla karşılaştığında (nadir bir isim, net bir sayı, yakın tarihli bir olay, bir akademik kaynak gibi) yine de kulağa doğru gelen bir şeyler uydurur. Buna genellikle halüsinasyon denir. Bu bir yalan değildir; çünkü modelin başvurabileceği ayrı bir doğruluk veritabanı yoktur.

• Net rakamlar, tarihler, alıntılar ve kaynakçalar genellikle en çok hata yapılan kısımlardır.
• Modele "Emin misin?" diye sormak bir düzeltmeye yol açabileceği gibi, aslında doğru olan bir şey için özür dilemesine de neden olabilir. Güvenilir bir kontrol yöntemi değildir.
• Modele kaynak metni verip yalnızca o metne dayanarak çalışmasını istemek hataları ciddi oranda azaltır.

Aynı talebin iki farklı versiyonu arasındaki farkı görebilirsiniz:

Hafızadan (daha riskli):
[şehrim] kent kütüphanesi ne zaman kuruldu ve masraflarını kim karşıladı?

Bir kaynaktan (daha güvenli):
Yalnızca aşağıdaki metni kullanarak kütüphanenin ne zaman kurulduğunu ve masraflarını kimin karşıladığını belirtin. Metinde yer almıyorsa "belirtilmemiş" yanıtını verin.
"""
[kütüphanenin kendi web sitesindeki paragrafı buraya yapıştırın]
"""

İlk örnekte model muhtemelen yerel kütüphaneniz hakkında çok az şey görmüştür veya hiçbir şey görmemiştir; bu yüzden kendinden emin bir tahminde bulunabilir. İkincisinde ise bilgiler doğrudan bağlamında yer alır, dolayısıyla tek yapması gereken bunları okumaktır. Özet aracımız da aynı mantıkla çalışır: Yalnızca sizin verdiğiniz metinden yanıt üretir.

Yapay zeka yanıtlarını doğrulama rehberimiz bu yaklaşımı pratik bir alışkanlığa dönüştürmenize yardımcı olur.

Sohbeti kullanırken bu ne anlama gelir?

Bu prensipleri pratikte görmek için Llama'dan kendi çalışma mantığını açıklamasını isteyin. İstem yazma teknikleri için prompt nasıl yazılır rehberimize; modeller hakkında detaylı bilgi için ise Llama nedir ve Llama ailesinin geçmişi sayfalarımıza göz atabilirsiniz.

Sıkça Sorulan Sorular

Llama söylediklerini gerçekten anlıyor mu?

Bu, "anlamak" kelimesinden ne kastettiğinize bağlıdır ve araştırmacılar bu konuda hemfikir değildir. Pratikte özet çıkarma, çeviri yapma ve birçok problem üzerinde mantık yürütme konusunda anlamı oldukça başarılı yönetir; ancak bir çocuğun kolayca yapabileceği şeylerde çuvallayabilir. Modeli ne kadar akıcı konuştuğuna göre değil, ortaya çıkardığı işin doğruluğuna göre değerlendirin.

Konuşmalarımdan yeni şeyler öğrenir mi?

Hayır. Siz sohbet ederken modelin parametreleri değişmez. Tek bir sohbet içinde söylediklerinizi bağlam olarak kullanır; yeni bir sohbet başlattığınızda ise bu bağlam tamamen silinir.

Llama ile ChatGPT arasındaki fark nedir?

Her ikisi de benzer prensiplerle inşa edilmiş büyük dil modellerine dayanır. Llama, Meta tarafından geliştirilen ve açık ağırlıklarla Meta lisansı altında paylaşılan bir model ailesidir; yani herkes indirip çalıştırabilir. ChatGPT ise OpenAI'ın kendi modellerini barındırılan bir hizmet olarak sunduğu uygulamasıdır. Detaylar için Llama ve ChatGPT karşılaştırması sayfamıza bakın.

Parametre nedir?

Eğitim sürecinde ayarlanan ve modelin iç yapısını oluşturan sayılardır. Daha fazla parametre daha fazla örüntü saklayabilir ancak daha yüksek işlem gücü gerektirir. Kaliteyi tek başına boyut belirlemez; eğitim verisi ve yapılan ince ayarlar da son derece önemlidir.

Neden sadece bazı modeller görselleri kabul ediyor?

Llama 4 Maverick ve Scout, metin ve görsellerle birlikte eğitilmiştir. Llama 3.3 70B ve Llama 3.1 8B ise yalnızca metin modelleridir, bu yüzden görselleri işleyemezler. Dört modeli karşılaştırmak için doğru Llama modelini seçme rehberimize göz atabilirsiniz.