Cara menjalankan Llama secara lokal

Mengapa menjalankan Llama di komputer sendiri

Bobot (weights) Llama dirilis secara terbuka oleh Meta. Jadi, tidak seperti chatbot tertutup, Anda bisa mengunduh model Llama dan menjalankannya langsung di perangkat Anda. Setelah diunduh, model ini bekerja offline, prompt Anda tidak pernah keluar dari komputer, serta bebas batas pesan maupun biaya per token. Konsekuensinya ada pada perangkat keras: model yang lebih besar membutuhkan banyak memori, dan laptop tentu akan merespons lebih lambat daripada server cloud.

Panduan ini membahas tiga opsi paling populer, dari yang paling praktis hingga yang paling fleksibel: Ollama, LM Studio, dan llama.cpp. Jika Anda hanya ingin mencoba Llama, chat Llama AI gratis kami bisa langsung digunakan tanpa instalasi apa pun.

Pilih model yang sesuai dengan komputer Anda

Pertimbangan paling krusial adalah ukuran model. Aturan umumnya: Anda memerlukan memori bebas (VRAM kartu grafis, atau unified memory di Apple silicon) minimal sebesar ukuran file model, ditambah ruang ekstra untuk memproses percakapan. Jika kapasitas tidak cukup, model akan gagal dimuat atau berjalan sangat lambat menggunakan RAM sistem biasa.

Berikut adalah ukuran unduhan default yang tercantum di Ollama untuk setiap model Llama. Semuanya adalah file terkompresi (terkuantisasi), format yang paling umum digunakan pengguna di komputer pribadi.

Jika ragu, mulailah dengan Llama 3.1 8B. Ukurannya pas untuk banyak laptop modern dan kemampuannya sangat mumpuni. Dokumentasi resmi Meta untuk Llama 4 Scout menyebutkan bahwa model ini muat di satu GPU data center H100 dengan kuantisasi Int4—memberikan gambaran besarnya skala jajaran model Llama 4.

Opsi 1: Ollama (Paling Mudah)

Ollama adalah aplikasi praktis yang mengunduh dan menjalankan model hanya dengan satu perintah, lalu menyimpannya agar siap digunakan kapan saja.

1. Instal Ollama dari situs resminya.
2. Buka terminal dan jalankan ollama run llama3.1. Proses pertama akan mengunduh model; setelah itu model bisa dimulai dalam hitungan detik.
3. Ketik pertanyaan Anda di baris perintah dan tekan Enter.

Model Llama lainnya bekerja dengan cara yang sama, misalnya ollama run llama3.2 atau ollama run llama4:scout. Halaman pustaka Ollama untuk Llama 3.1, Llama 3.2, dan Llama 4 mencantumkan semua ukuran yang tersedia. Pada halaman Llama 4, Ollama menampilkan Scout dengan context window 10M dan Maverick dengan 1M, keduanya mendukung input teks dan gambar.

Ollama juga menjalankan server lokal, sehingga skrip Anda bisa langsung memanggil model tersebut. Contoh request chat:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Jelaskan konsep rekursi dalam dua kalimat."}]
}'

Opsi 2: LM Studio (Aplikasi Desktop)

LM Studio adalah aplikasi desktop gratis dengan antarmuka chat visual, jadi Anda tidak perlu menyentuh terminal sama sekali.

1. Unduh LM Studio untuk sistem operasi Anda lalu buka aplikasinya.
2. Buka tab Discover, cari "Llama", dan unduh versi yang pas dengan kapasitas memori Anda.
3. Buka tab Chat, pilih model pada pemilih model di bagian atas, dan mulai mengobrol.

LM Studio juga bisa berfungsi sebagai server lokal yang kompatibel dengan format OpenAI API, secara default di http://localhost:1234/v1. Banyak aplikasi yang sudah ada bisa langsung diarahkan ke alamat ini alih-alih layanan cloud. Lihat panduan memulai LM Studio dan dokumentasi server kompatibel OpenAI.

Opsi 3: llama.cpp (Kendali Penuh)

llama.cpp adalah mesin open-source di balik banyak aplikasi AI lokal. Menggunakannya secara langsung memberi Anda kendali penuh atas pengaturan performa. Engine ini menjalankan model berformat GGUF, mendukung kuantisasi dari 1.5-bit hingga 8-bit untuk memangkas ukuran model, dan dioptimalkan secara khusus untuk Apple silicon.

1. Instal programnya. File README proyek menyediakan perintah instalasi satu baris: curl -LsSf https://llama.app/install.sh | sh di macOS dan Linux, atau irm https://llama.app/install.ps1 | iex di Windows PowerShell.
2. Mulai chat di terminal menggunakan model GGUF dari Hugging Face: llama cli -hf <user>/<repo>.
3. Atau jalankan server lokal yang kompatibel dengan OpenAI: llama serve -hf <user>/<repo>.

Ganti placeholder tersebut dengan repositori Hugging Face dari model Llama berformat GGUF yang Anda inginkan. Periksa deskripsi repositori untuk melihat jenis kuantisasi tiap file; file yang lebih kecil membutuhkan memori lebih sedikit tetapi kualitas jawabannya sedikit berkurang.

Opsi 4: Bobot Asli dari Meta

Developer yang membutuhkan bobot presisi penuh (full-precision) dapat mengunduhnya langsung dari halaman resmi Meta di Hugging Face, seperti Llama 3.1 8B Instruct atau Llama 4 Scout. Repositori ini bersifat terbatas (gated): Anda harus masuk dan menyetujui lisensi pada halaman model sebelum file dapat diunduh. Model card-nya menyertakan contoh kode untuk pustaka Hugging Face Transformers. Bobot presisi penuh memerlukan memori yang jauh lebih besar daripada versi terkuantisasi di atas, sehingga opsi ini umumnya ditujukan untuk server dan proses fine-tuning.

Tips agar Berjalan Lancar

• Mulai dari yang kecil. Coba model 8B atau 3B terlebih dahulu. Beralihlah ke model lebih besar hanya jika kualitas jawaban kurang memuaskan dan perangkat keras Anda mencukupi.
• Tutup aplikasi berat lainnya. Browser dengan puluhan tab serta game akan berebut memori yang sama.
• Batasi panjang konteks. Percakapan yang terlalu panjang memakan lebih banyak memori dan memperlambat respons. Mulai obrolan baru untuk topik yang berbeda.
• Gunakan system prompt. Memberi tahu model tentang peran dan gaya jawaban yang diinginkan sangat membantu performa model kecil. Temukan inspirasinya di koleksi prompt kami.
• Perhatikan ketentuan lisensi. Menjalankan model untuk penggunaan pribadi sangat bebas, tetapi jika Anda membangun produk komersial, baca panduan lisensi Llama kami.
• Pahami batasan informasi. Model lokal tidak terhubung ke internet. Batas pengetahuan Llama 3.x berakhir pada Desember 2023 dan Llama 4 pada Agustus 2024.

Lokal atau Online: Mana yang Harus Dipilih?

Jalankan Llama secara lokal jika privasi, penggunaan offline, atau intensitas pemakaian harian yang tinggi menjadi prioritas utama, serta perangkat keras Anda memadai. Gunakan chat online jika Anda ingin mencoba model Llama 4 yang lebih besar tanpa komputer berspesifikasi tinggi, atau sekadar ingin menjajalnya. Anda juga bisa memanggil Llama melalui kode via penyedia cloud; simak penjelasannya di panduan Llama API kami.

Coba Llama 4 Maverick online sekarang

FAQ

Bisakah saya menjalankan Llama tanpa kartu grafis?

Bisa. Model kecil seperti Llama 3.2 3B dan Llama 3.1 8B dapat berjalan menggunakan prosesor biasa (CPU), hanya saja performanya lebih lambat. Model yang lebih besar sulit digunakan tanpa GPU bertenaga atau unified memory yang melimpah.

Apakah menjalankan Llama secara lokal gratis?

Semua aplikasi di atas dan bobot model Llama bisa diunduh secara gratis. Biaya yang Anda keluarkan hanyalah untuk perangkat keras dan daya listrik.

Bisakah model Llama lokal membaca gambar?

Llama 4 Scout dan Maverick mendukung input gambar, begitu juga dengan model Llama 3.2 Vision. Model teks 1B, 3B, dan 8B tidak mendukung input gambar.

Aplikasi mana yang paling cocok untuk pemula?

LM Studio jika Anda lebih menyukai antarmuka aplikasi desktop yang ramah pengguna, atau Ollama jika Anda nyaman mengetikkan perintah di terminal.