Cara menjalankan Llama secara lokal

Sebab menjalankan Llama pada komputer anda sendiri

Pemberat (weights) Llama diterbitkan oleh Meta, jadi tidak seperti bot sembang tertutup, anda boleh memuat turun model Llama dan menjalankannya pada komputer anda sendiri. Sebaik sahaja dimuat turun, ia berfungsi secara luar talian, prom anda tidak pernah meninggalkan komputer, dan tiada had mesej atau caj bagi setiap token. Kekurangannya melibatkan perkakasan: model yang lebih besar memerlukan banyak memori, dan komputer riba akan menjawab lebih perlahan berbanding pelayan awan.

Panduan ini merangkumi tiga alat yang paling popular, dari yang paling mudah hingga yang paling teknikal: Ollama, LM Studio dan llama.cpp. Jika anda hanya ingin mencuba Llama, sembang Llama percuma kami tidak memerlukan sebarang pemasangan.

Pilih model yang sesuai dengan komputer anda

Pilihan paling penting ialah saiz model. Peraturan asasnya: anda memerlukan memori bebas (memori kad grafik, atau memori bersatu pada Apple silicon) sekurang-kurangnya sebanyak saiz fail model, ditambah ruang tambahan untuk perbualan. Jika model tidak muat, ia sama ada enggan dimuatkan atau berjalan sangat perlahan menggunakan memori sistem biasa.

Berikut ialah saiz muat turun yang disenaraikan oleh Ollama untuk versi lalai bagi setiap model Llama. Fail-fail ini dimampatkan (dikuatkan/quantized), iaitu cara kebanyakan orang menjalankan model di rumah.

Jika anda tidak pasti, mulakan dengan Llama 3.1 8B. Ia cukup kecil untuk kebanyakan komputer riba terkini dan cukup berkemampuan untuk pelbagai tugasan. Kad model rasmi Meta bagi Llama 4 Scout menyatakan bahawa ia muat pada satu GPU pusat data H100 dengan kuantisasi Int4, memberikan gambaran tentang skala model Llama 4.

Pilihan 1: Ollama (paling mudah)

Ollama ialah aplikasi yang memuat turun dan menjalankan model dengan satu arahan serta memastikannya sedia untuk kegunaan seterusnya.

1. Pasang Ollama dari laman web rasminya.
2. Buka terminal dan jalankan ollama run llama3.1. Percubaan pertama akan memuat turun model; selepas itu ia akan bermula dalam beberapa saat.
3. Taip soalan anda pada prom dan tekan Enter.

Model Llama lain berfungsi dengan cara yang sama, contohnya ollama run llama3.2 atau ollama run llama4:scout. Halaman pustaka Ollama untuk Llama 3.1, Llama 3.2 dan Llama 4 menyenaraikan setiap saiz yang tersedia. Pada halaman Llama 4, Ollama menunjukkan Scout dengan tetingkap konteks 10M dan Maverick dengan 1M, kedua-duanya menerima teks dan imej.

Ollama juga menjalankan pelayan tempatan, membolehkan skrip anda sendiri menggunakan model tersebut. Permintaan sembang kelihatan seperti ini:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Pilihan 2: LM Studio (aplikasi desktop)

LM Studio ialah aplikasi desktop percuma dengan antara muka sembang, jadi anda tidak perlu menggunakan terminal langsung.

1. Muat turun LM Studio untuk sistem anda dan bukanya.
2. Buka tab Discover, cari "Llama" dan muat turun versi yang sesuai dengan memori anda.
3. Pergi ke tab Chat, pilih model pada pemuat model di bahagian atas, dan mula bersembang.

LM Studio juga boleh berfungsi sebagai pelayan tempatan yang menggunakan format yang sama seperti API OpenAI, secara lalai di http://localhost:1234/v1. Banyak alat sedia ada boleh dihalakan ke alamat tersebut dan bukannya perkhidmatan awan. Lihat panduan permulaan LM Studio dan dokumentasi pelayan serasi OpenAI.

Pilihan 3: llama.cpp (kawalan paling penuh)

llama.cpp ialah enjin sumber terbuka yang menguasakan banyak alat AI tempatan. Menggunakannya secara langsung memberi anda kawalan paling penuh ke atas tetapan prestasi. Ia menjalankan model dalam format fail GGUF, menyokong kuantisasi daripada 1.5-bit hingga 8-bit untuk mengecilkan saiz model, dan menyokong penuh Apple silicon.

1. Pasang aplikasi ini. README projek menyediakan pemasang satu baris: curl -LsSf https://llama.app/install.sh | sh pada macOS dan Linux, atau irm https://llama.app/install.ps1 | iex dalam Windows PowerShell.
2. Sembang dalam terminal dengan model GGUF daripada Hugging Face: llama cli -hf <user>/<repo>.
3. Atau mulakan pelayan tempatan yang serasi dengan OpenAI: llama serve -hf <user>/<repo>.

Gantikan ruang pemegang tempat dengan repositori Hugging Face bagi versi GGUF model Llama yang anda inginkan. Baca huraian repositori untuk menyemak kuantisasi yang digunakan bagi setiap fail; fail yang lebih kecil memerlukan kurang memori tetapi mengalami sedikit penurunan kualiti.

Pilihan 4: pemberat asal daripada Meta

Pembangun yang mahukan pemberat berketepatan penuh boleh memuat turunnya dari halaman Meta di Hugging Face, seperti Llama 3.1 8B Instruct atau Llama 4 Scout. Repositori ini dihadkan (gated): anda mesti log masuk dan menerima lesen pada halaman model sebelum fail dibuka. Kad model menyertakan contoh kod untuk pustaka Hugging Face Transformers. Pemberat berketepatan penuh memerlukan memori yang jauh lebih besar berbanding versi terkuantisasi di atas, jadi cara ini kebanyakannya khusus untuk pelayan dan penalaan halus (fine-tuning).

Tip untuk permulaan yang lancar

• Mulakan dengan saiz kecil. Cuba model 8B atau 3B terlebih dahulu. Beralih ke model lebih besar hanya jika jawapannya kurang memuaskan dan perkakasan anda mampu menampungnya.
• Tutup aplikasi berat yang lain. Pelayar web dengan banyak tab dan permainan video bersaing untuk mendapatkan memori yang sama.
• Kawal kepanjangan konteks. Perbualan yang terlalu panjang menggunakan lebih banyak memori dan memperlahankan prestasi. Mulakan sembang baharu untuk topik baharu.
• Gunakan prom sistem. Memaklumkan peranan model dan gaya jawapan yang diingini amat membantu model-model kecil. Pustaka prom kami mempunyai pelbagai idea.
• Ingat syarat lesen. Menjalankan model untuk kegunaan sendiri adalah mudah, tetapi jika anda membina produk menggunakannya, baca panduan lesen Llama kami.
• Jangkakan maklumat yang terhad pada masa lalu. Model tempatan tidak mencari maklumat di web. Pengetahuan Llama 3.x berakhir pada Disember 2023 dan Llama 4 pada Ogos 2024.

Tempatan atau dalam talian: mana yang patut dipilih

Jalankan Llama secara tempatan apabila privasi, penggunaan luar talian atau penggunaan harian yang kerap adalah lebih penting daripada kemudahan, dan apabila anda mempunyai perkakasan yang sesuai. Gunakan sembang dalam talian apabila anda mahukan model Llama 4 yang lebih besar tanpa komputer berkuasa tinggi, atau apabila anda hanya ingin mencuba Llama AI. Anda juga boleh memanggil Llama melalui kod menerusi penyedia awan; panduan Llama API kami merangkumi perkara tersebut.

Cuba Llama 4 Maverick dalam talian dahulu

Soalan Lazim

Bolehkah saya menjalankan Llama tanpa kad grafik?

Boleh, model kecil seperti Llama 3.2 3B dan Llama 3.1 8B boleh berjalan pada pemproses biasa, cuma lebih perlahan. Model yang lebih besar tidak praktikal tanpa GPU yang berkuasa atau memori bersatu yang besar.

Adakah menjalankan Llama secara tempatan percuma?

Perisian di atas dan pemberat Llama adalah percuma untuk dimuat turun. Kos anda hanyalah perkakasan dan penggunaan elektrik.

Bolehkah model Llama tempatan membaca imej?

Llama 4 Scout dan Maverick menerima imej, begitu juga dengan model Llama 3.2 Vision. Model teks 1B, 3B dan 8B tidak menyokong fungsi ini.

Alat manakah yang patut digunakan oleh pemula?

LM Studio jika anda lebih suka klik melalui aplikasi desktop, Ollama jika anda selesa menaip satu arahan dalam terminal.