Llama yerel bilgisayarda nasıl çalıştırılır?

Llama modelini neden kendi bilgisayarınızda çalıştırmalısınız?

Llama'nın ağırlıkları Meta tarafından herkese açık olarak yayımlanır; bu sayede kapalı kaynaklı sohbet botlarının aksine bir Llama modelini indirip kendi cihazınızda çalıştırabilirsiniz. İndirildikten sonra tamamen çevrimdışı çalışır, istemleriniz (prompt) asla bilgisayarınızdan dışarı çıkmaz, mesaj sınırı veya token başına faturalandırma da yoktur. Buradaki tek ödün donanımdır: Büyük modeller yüksek miktarda bellek gerektirir ve bir dizüstü bilgisayar, bulut sunucusuna kıyasla daha yavaş yanıt verir.

Bu rehber; en kolayından en fazla teknik kontrol sunanına kadar en yaygın üç aracı ele almaktadır: Ollama, LM Studio ve llama.cpp. Llama'yı yalnızca denemek istiyorsanız, ücretsiz Llama AI sohbetimiz hiçbir kurulum gerektirmez.

Cihazınıza uygun bir model seçin

En kritik tercih model boyutudur. Genel kural şudur: Model dosyasının boyutu kadar boş belleğe (ekran kartı VRAM'i veya Apple silicon cihazlarda birleşik bellek) ve sohbet geçmişi için fazladan bir miktar alana ihtiyacınız vardır. Model belleğe sığmazsa ya hiç yüklenmez ya da standart sistem belleğinde (RAM) son derece yavaş çalışır.

Aşağıda Ollama'nın her Llama modeli için sunduğu varsayılan sürümlerin indirme boyutları yer almaktadır. Bunlar, modellerin ev ortamında genellikle çalıştırılma biçimi olan sıkıştırılmış (kuantize edilmiş) dosyalardır.

Kararsızsanız Llama 3.1 8B ile başlayın. Yeni nesil birçok dizüstü bilgisayara rahatça sığacak kadar kompakt ve günlük işlerinizi görecek kadar yeteneklidir. Meta'nın Llama 4 Scout için paylaştığı model kartı, modelin Int4 kuantizasyonu ile tek bir H100 veri merkezi GPU'suna sığdığını belirtmektedir; bu da Llama 4 modellerinin ölçeği hakkında fikir verir.

1. Seçenek: Ollama (en kolayı)

Ollama, tek bir komutla modelleri indirip çalıştıran ve daha sonraki kullanımlar için hazır tutan bir uygulamadır.

1. Ollama'yı resmi web sitesinden indirin ve kurun.
2. Terminali açın ve ollama run llama3.1 komutunu çalıştırın. İlk çalıştırmada model indirilir; sonrasında ise saniyeler içinde başlar.
3. İstem satırına sorunuzu yazıp Enter'a basın.

Diğer Llama modelleri de aynı şekilde çalışır; örneğin ollama run llama3.2 veya ollama run llama4:scout. Ollama kütüphanesindeki Llama 3.1, Llama 3.2 ve Llama 4 sayfalarında mevcut tüm boyutlar listelenir. Llama 4 sayfasında Ollama, hem metin hem de görsel kabul eden Scout modelini 10M, Maverick modelini ise 1M bağlam penceresiyle listeler.

Ollama ayrıca yerel bir sunucu olarak da çalışır; böylece kendi yazdığınız komut dosyaları modeli kullanabilir. Örnek bir sohbet isteği şöyledir:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

2. Seçenek: LM Studio (masaüstü uygulaması)

LM Studio, sohbet arayüzüne sahip ücretsiz bir masaüstü uygulamasıdır; böylece terminal kullanmanıza gerek kalmaz.

1. Sisteminiz için LM Studio'yu indirin ve açın.
2. Discover (Keşfet) sekmesini açın, "Llama" araması yapın ve belleğinize uygun bir sürümü indirin.
3. Chat sekmesine geçin, üst kısımdaki model seçiciden modeli seçin ve sohbet etmeye başlayın.

LM Studio, varsayılan olarak http://localhost:1234/v1 adresinde OpenAI API'si ile aynı formatta yerel bir sunucu olarak da işlev görebilir. Mevcut birçok geliştirici aracı, bir bulut servisi yerine doğrudan bu adrese yönlendirilebilir. Detaylar için LM Studio başlangıç rehberi ve OpenAI uyumlu sunucu dokümantasyonuna göz atabilirsiniz.

3. Seçenek: llama.cpp (en yüksek kontrol)

llama.cpp, birçok yerel yapay zeka aracına güç veren açık kaynaklı motordur. Doğrudan bu aracı kullanmak, performans ayarları üzerinde en üst düzeyde denetim sağlar. Modelleri GGUF dosya formatında çalıştırır, modelleri küçültmek için 1.5-bit'ten 8-bit'e kadar kuantizasyonu destekler ve Apple silicon işlemcileri birinci sınıf platform olarak optimize eder.

1. Kurulumu yapın. Projenin README dosyasında tek satırlık yükleyiciler bulunur: macOS ve Linux'ta curl -LsSf https://llama.app/install.sh | sh veya Windows PowerShell'de irm https://llama.app/install.ps1 | iex.
2. Hugging Face'teki bir GGUF modeliyle terminal üzerinden sohbet edin: llama cli -hf <user>/<repo>.
3. Veya yerel bir OpenAI uyumlu sunucu başlatın: llama serve -hf <user>/<repo>.

Yer tutucuyu, istediğiniz Llama modelinin GGUF sürümünü içeren Hugging Face deposuyla değiştirin. Her dosyanın hangi kuantizasyonu kullandığını görmek için depo açıklamasını okuyun; daha küçük dosyalar daha az bellek kullanır ancak bir miktar kalite kaybına yol açabilir.

4. Seçenek: Meta'dan orijinal ağırlıklar

Tam duyarlıklı (full-precision) ağırlıkları isteyen geliştiriciler, bunları Llama 3.1 8B Instruct veya Llama 4 Scout gibi Meta'nın Hugging Face sayfalarından indirebilir. Bu depolar erişim izni gerektirir: Dosyaların kilidi açılmadan önce giriş yapmalı ve model sayfasındaki lisansı kabul etmelisiniz. Model kartları, Hugging Face Transformers kütüphanesi için örnek kodlar içerir. Tam duyarlıklı ağırlıklar yukarıdaki kuantize sürümlerden çok daha fazla belleğe ihtiyaç duyar; bu nedenle bu yöntem çoğunlukla sunucular ve ince ayar (fine-tuning) süreçleri için uygundur.

Sorunsuz bir başlangıç için ipuçları

• Küçük modellerle başlayın. Önce 8B veya 3B modelleri deneyin. Yalnızca yanıtlar yetersiz kaldığında ve donanımınız elverdiğinde daha büyük modellere geçin.
• Ağır uygulamaları kapatın. Çok sekmeli tarayıcılar ve oyunlar aynı bellek için modelle rekabet eder.
• Bağlamı makul tutun. Çok uzun sohbetler daha fazla bellek tüketir ve yanıtları yavaşlatır. Yeni bir konu için her zaman yeni bir sohbet başlatın.
• Sistem istemi (system prompt) kullanın. Modele rolünü ve istediğiniz yanıt tarzını belirtmek, özellikle küçük modellerin başarımını ciddi ölçüde artırır. Fikirler için istem kütüphanemizi inceleyebilirsiniz.
• Lisansı unutmayın. Modeli kişisel amaçlarla çalıştırmak tamamen serbesttir; ancak bununla ticari bir ürün geliştirecekseniz Llama lisans rehberimize göz atın.
• Bilgilerin güncel olmayabileceğini bilin. Yerel modeller internette arama yapmaz. Llama 3.x modellerinin bilgi sınırı Aralık 2023, Llama 4 modellerinin ise Ağustos 2024'tür.

Yerel mi, çevrimiçi mi: Hangisini seçmeli?

Gizlilik, çevrimdışı kullanım veya yoğun günlük kullanım kolaylıktan daha önemliyse ve uygun donanımınız varsa Llama modelini yerel olarak çalıştırın. Güçlü bir bilgisayara sahip olmadan daha büyük Llama 4 modellerini kullanmak istediğinizde veya sadece Llama AI deneyimini test etmek istediğinizde çevrimiçi sohbeti tercih edin. Ayrıca Llama modellerini bulut sağlayıcıları aracılığıyla kodunuza da entegre edebilirsiniz; bunun için Llama API rehberimize başvurabilirsiniz.

Llama 4 Maverick modelini önce çevrimiçi deneyin

Sıkça Sorulan Sorular

Llama modelini harici bir ekran kartı olmadan çalıştırabilir miyim?

Evet, Llama 3.2 3B ve Llama 3.1 8B gibi küçük modeller standart bir işlemci üzerinde de çalışır, ancak yanıt hızı daha yavaş olur. Daha büyük modeller ise güçlü bir GPU veya geniş bir birleşik bellek olmadan verimli çalışmaz.

Llama'yı yerel olarak çalıştırmak ücretsiz mi?

Yukarıdaki tüm yazılımları ve Llama model ağırlıklarını indirmek tamamen ücretsizdir. Tek maliyetiniz donanım ve elektrik tüketimidir.

Yerel Llama modeli görselleri analiz edebilir mi?

Llama 4 Scout ve Maverick modellerinin yanı sıra Llama 3.2 Vision modelleri de görselleri kabul eder. 1B, 3B ve 8B metin modelleri görsel desteklemez.

Yeni başlayanlar hangi aracı seçmeli?

Masaüstü arayüzü üzerinden tıklayarak ilerlemeyi tercih ediyorsanız LM Studio; terminale tek bir komut yazmak sizin için uygunsa Ollama en ideal seçenektir.