Paano paganahin ang Llama nang local

Bakit dapat patakbuhin ang Llama sa sarili mong computer

Inilalabas ng Meta ang weights ng Llama, kaya di tulad ng mga saradong chatbot, puwede kang mag-download ng Llama model at patakbuhin ito sa sarili mong machine. Kapag na-download na, gagana ito offline, hindi kailanman aalis sa computer mo ang iyong mga prompt, at walang limitasyon sa mensahe o singil bawat token. Ang kapalit nito ay hardware: kailangan ng mas malalaking model ng malaking memory, at mas mabagal sumagot ang isang laptop kumpara sa cloud server.

Sinasaklaw ng gabay na ito ang tatlong pinakakaraniwang tool, mula sa pinakamadali hanggang sa pinaka-hands-on: Ollama, LM Studio, at llama.cpp. Kung gusto mo lang subukan ang Llama, hindi kailangan ng anumang installation sa aming libreng Llama chat.

Pumili ng model na bagay sa iyong machine

Ang pinakamahalagang desisyon ay ang laki ng model. Simpleng patakaran: kailangan mo ng available na memory (graphics card memory, o unified memory sa Apple silicon) na kasinglaki man lang ng model file, dagdag pa ang espasyo para sa usapan. Kung hindi kasya ang model, maaaring tumanggi itong mag-load o kaya'y tatakbo nang napakabagal gamit ang regular na system memory.

Ito ang mga download size na nakalista sa Ollama para sa mga default na bersyon ng bawat Llama model. Ang mga ito ay compressed (quantized) files, na siyang karaniwang paraan ng pagpapatakbo ng mga model sa bahay.

Kung hindi ka sigurado, simulan sa Llama 3.1 8B. Sapat ang liit nito para sa maraming bagong laptop at sapat ang galing para maging kapaki-pakinabang. Nakasaad sa sariling card ng Meta para sa Llama 4 Scout na kasya ito sa isang H100 data-center GPU gamit ang Int4 quantization, na nagpapakita kung gaano kalaki ang Llama 4 models.

Opsyon 1: Ollama (pinakamadali)

Ang Ollama ay isang app na nagda-download at nagpapatakbo ng mga model gamit ang iisang command at pinapanatiling handa ang mga ito para magamit muli.

1. I-install ang Ollama mula sa opisyal na site nito.
2. Magbukas ng terminal at patakbuhin ang ollama run llama3.1. Ida-download ang model sa unang pagtakbo; pagkatapos noon, magsisimula na ito sa loob ng ilang segundo.
3. I-type ang iyong tanong sa prompt at pindutin ang Enter.

Ganoon din ang paraan sa iba pang Llama model, halimbawa ollama run llama3.2 o ollama run llama4:scout. Makikita ang bawat available na laki sa mga library page ng Ollama para sa Llama 3.1, Llama 3.2, at Llama 4. Sa page ng Llama 4, ipinapakita ng Ollama ang Scout na may 10M context window at Maverick na may 1M, at parehong tumatanggap ng text at mga larawan.

Nagpapatakbo rin ang Ollama ng local server para magamit ng sarili mong mga script ang model. Ganito ang hitsura ng isang chat request:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Ipaliwanag ang recursion sa dalawang pangungusap."}]
}'

Opsyon 2: LM Studio (isang desktop app)

Ang LM Studio ay isang libreng desktop app na may chat window, kaya hindi mo na kailangang gumamit ng terminal.

1. I-download ang LM Studio para sa iyong system at buksan ito.
2. Pumunta sa Discover tab, maghanap ng "Llama", at mag-download ng bersyong kasya sa iyong memory.
3. Pumunta sa Chat tab, piliin ang model sa model loader sa itaas, at simulan ang pakikipag-chat.

Puwede ring magsilbi ang LM Studio bilang local server na gumagamit ng parehong format tulad ng API ng OpenAI, na default sa http://localhost:1234/v1. Maraming umiiral na tool ang puwedeng ituro sa address na iyon sa halip na sa cloud service. Tingnan ang getting-started guide ng LM Studio at ang OpenAI-compatible server docs.

Opsyon 3: llama.cpp (pinakamaraming kontrol)

Ang llama.cpp ay ang open-source engine na nagpapagana sa maraming local AI tools. Ang direktang paggamit nito ay nagbibigay sa iyo ng pinakamalawak na kontrol sa mga setting ng performance. Nagpapatakbo ito ng mga model sa GGUF file format, sumusuporta sa quantization mula 1.5-bit hanggang 8-bit para paliitin ang mga model, at itinuturing ang Apple silicon bilang first-class platform.

1. I-install ito. Nagbibigay ang README ng proyekto ng mga one-line installer: curl -LsSf https://llama.app/install.sh | sh sa macOS at Linux, o irm https://llama.app/install.ps1 | iex sa Windows PowerShell.
2. Makipag-chat sa terminal gamit ang isang GGUF model mula sa Hugging Face: llama cli -hf <user>/<repo>.
3. O magsimula ng local OpenAI-compatible server: llama serve -hf <user>/<repo>.

Palitan ang placeholder ng Hugging Face repository ng GGUF na bersyon ng Llama model na gusto mo. Basahin ang paglalarawan ng repository para alamin kung anong quantization ang gamit ng bawat file; kasya ang mas maliliit na file sa mas kaunting memory ngunit may kaunting bawas sa kalidad.

Opsyon 4: Ang orihinal na weights mula sa Meta

Puwede namang i-download ng mga developer na nangangailangan ng full-precision weights ang mga ito mula sa mga page ng Meta sa Hugging Face, gaya ng Llama 3.1 8B Instruct o Llama 4 Scout. Gated ang mga repository na ito: kailangan mong mag-sign in at tanggapin ang lisensya sa model page bago ma-unlock ang mga file. May kasamang halimbawang code para sa Hugging Face Transformers library ang mga model card. Mas malaking memory ang kailangan ng full-precision weights kumpara sa mga quantized na bersyon sa itaas, kaya karaniwang ginagamit lang ang rutang ito para sa mga server at fine-tuning.

Mga tip para sa maayos na simula

• Magsimula sa maliit. Subukan muna ang 8B o 3B model. Lumipat lang sa mas malaki kung hindi sapat ang mga sagot at kaya ito ng iyong hardware.
• Isara ang iba pang mabibigat na app. Ang mga browser na maraming tab at mga laro ay nakikipag-agawan sa parehong memory.
• Panatilihing katamtaman ang context. Ang napakahabang usapan ay kumukonsumo ng mas maraming memory at nagpapabagal sa takbo. Magsimula ng bagong chat para sa bagong paksa.
• Gumamit ng system prompt. Malaking tulong sa maliliit na model ang pagtatakda ng tungkulin nito at gustong istilo ng sagot. May mga ideya sa aming prompt library.
• Tandaan ang lisensya. Madali lang magpatakbo ng model para sa sarili mo, ngunit kung gagawa ka ng produkto gamit ito, basahin ang aming gabay sa lisensya ng Llama.
• Asahang mas luma ang kaalaman. Hindi nagse-search sa web ang mga local model. Hanggang Disyembre 2023 lang ang kaalaman ng Llama 3.x at Agosto 2024 naman sa Llama 4.

Local o online: alin ang dapat piliin

Patakbuhin ang Llama nang local kung mas mahalaga ang privacy, offline na paggamit, o mabigat na pang-araw-araw na paggamit kaysa sa bilis at dali, at kung may angkop kang hardware. Gamitin ang online chat kung gusto mo ang mas malalaking Llama 4 models nang hindi nangangailangan ng malakas na computer, o kung sinusubukan mo lang ang Llama. Puwede mo ring tawagin ang Llama mula sa code gamit ang mga cloud provider; tinatalakay iyon ng aming gabay sa Llama API.

Subukan muna ang Llama 4 Maverick online

FAQ

Puwede ba akong magpatakbo ng Llama nang walang graphics card?

Oo, tumatakbo ang maliliit na model tulad ng Llama 3.2 3B at Llama 3.1 8B sa regular na processor, ngunit mas mabagal. Hindi praktikal ang mas malalaking model kung walang malakas na GPU o maraming unified memory.

Libre ba ang pagpapatakbo ng Llama nang local?

Libreng i-download ang mga software sa itaas at ang Llama weights. Ang tanging gastos mo lang ay ang hardware at kuryente.

Kaya bang magbasa ng mga larawan ng isang local Llama model?

Tumatanggap ng mga larawan ang Llama 4 Scout at Maverick, gayundin ang Llama 3.2 Vision models. Hindi ito puwede sa mga 1B, 3B, at 8B text model.

Aling tool ang dapat gamitin ng isang baguhan?

LM Studio kung mas gusto mo ang pag-click sa isang desktop app, Ollama kung sanay ka nang mag-type ng iisang command sa terminal.