Cách chạy Llama cục bộ trên máy tính

Tại sao nên chạy Llama trên máy tính cá nhân

Trọng số của Llama được Meta công khai, vì vậy không giống như các chatbot đóng, bạn hoàn toàn có thể tải mô hình Llama về và chạy trực tiếp trên máy của mình. Sau khi tải xong, mô hình hoạt động hoàn toàn offline, câu lệnh của bạn không bao giờ rời khỏi máy tính, không bị giới hạn số lượng tin nhắn và không tốn phí tính theo token. Điểm đánh đổi duy nhất là phần cứng: các mô hình lớn hơn đòi hỏi rất nhiều bộ nhớ, và một chiếc laptop thông thường sẽ phản hồi chậm hơn so với máy chủ đám mây.

Hướng dẫn này giới thiệu ba công cụ phổ biến nhất, từ dễ nhất đến chuyên sâu nhất: Ollama, LM Studio và llama.cpp. Nếu bạn chỉ muốn trải nghiệm thử Llama, công cụ chat Llama AI miễn phí của chúng tôi không yêu cầu bất kỳ bước cài đặt nào.

Chọn mô hình phù hợp với cấu hình máy

Yếu tố quan trọng nhất là kích thước mô hình. Quy tắc ước lượng đơn giản: bạn cần lượng bộ nhớ trống (VRAM của card đồ họa, hoặc bộ nhớ hợp nhất trên chip Apple silicon) tối thiểu bằng dung lượng file mô hình, cộng thêm một khoảng trống dự phòng cho ngữ cảnh hội thoại. Nếu máy không đủ bộ nhớ, mô hình sẽ không tải được hoặc chạy rất chậm do phải dùng RAM hệ thống thông thường.

Dưới đây là dung lượng tải xuống mặc định của từng mô hình Llama trên Ollama. Đây là các file đã được nén (lượng tử hóa/quantized) — cách phổ biến nhất để chạy mô hình tại nhà.

Nếu bạn chưa rõ nên chọn bản nào, hãy bắt đầu với Llama 3.1 8B. Bản này vừa đủ nhẹ cho nhiều dòng laptop hiện nay, vừa đủ thông minh để xử lý tốt các tác vụ hữu ích. Tài liệu của Meta cho biết Llama 4 Scout có thể chạy vừa vặn trên một GPU trung tâm dữ liệu H100 duy nhất với chuẩn lượng tử hóa Int4, giúp bạn hình dung được quy mô của các mô hình Llama 4.

Cách 1: Ollama (Dễ nhất)

Ollama là ứng dụng giúp tải và chạy mô hình chỉ bằng một dòng lệnh, đồng thời lưu sẵn trên máy để bạn dùng bất cứ lúc nào.

1. Cài đặt Ollama từ trang web chính thức.
2. Mở terminal và chạy lệnh ollama run llama3.1. Lần đầu chạy máy sẽ tải mô hình về; các lần sau chỉ mất vài giây để khởi động.
3. Nhập câu hỏi của bạn vào dấu nhắc lệnh và nhấn Enter.

Các mô hình Llama khác cũng hoạt động tương tự, ví dụ ollama run llama3.2 hoặc ollama run llama4:scout. Trang thư viện Ollama cho Llama 3.1, Llama 3.2 và Llama 4 liệt kê đầy đủ mọi kích thước có sẵn. Trên trang Llama 4, Ollama hiển thị Scout với cửa sổ ngữ cảnh 10M và Maverick là 1M, cả hai đều hỗ trợ xử lý cả văn bản lẫn hình ảnh.

Ollama cũng tự chạy một máy chủ cục bộ, cho phép bạn gọi mô hình từ các đoạn mã lệnh tự viết. Một yêu cầu chat mẫu như sau:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Cách 2: LM Studio (Ứng dụng giao diện máy tính)

LM Studio là ứng dụng miễn phí trên máy tính có giao diện chat trực quan, giúp bạn không cần đụng đến dòng lệnh.

1. Tải LM Studio cho hệ điều hành của bạn và mở ứng dụng.
2. Chuyển sang tab Discover, tìm kiếm từ khóa "Llama" và tải về phiên bản phù hợp với bộ nhớ máy.
3. Chuyển sang tab Chat, chọn mô hình trong mục tải mô hình ở phía trên và bắt đầu trò chuyện.

LM Studio còn có thể hoạt động như một máy chủ cục bộ tương thích hoàn toàn với định dạng API của OpenAI, mặc định tại địa chỉ http://localhost:1234/v1. Rất nhiều công cụ hiện có thể trỏ trực tiếp vào địa chỉ này thay vì dùng dịch vụ đám mây. Hãy xem thêm hướng dẫn bắt đầu với LM Studio và tài liệu máy chủ tương thích OpenAI.

Cách 3: llama.cpp (Toàn quyền kiểm soát nhất)

llama.cpp là công cụ mã nguồn mở cốt lõi đứng sau rất nhiều ứng dụng chạy AI cục bộ hiện nay. Sử dụng trực tiếp công cụ này cho phép bạn can thiệp sâu nhất vào các thiết lập hiệu năng. Nó chạy các mô hình ở định dạng GGUF, hỗ trợ lượng tử hóa từ 1.5-bit đến 8-bit để thu nhỏ kích thước mô hình, và được tối ưu tối đa cho chip Apple silicon.

1. Cài đặt: Tệp README của dự án cung cấp lệnh cài đặt một dòng: curl -LsSf https://llama.app/install.sh | sh trên macOS và Linux, hoặc irm https://llama.app/install.ps1 | iex trong Windows PowerShell.
2. Chat trực tiếp trong terminal với mô hình GGUF từ Hugging Face: llama cli -hf <user>/<repo>.
3. Hoặc khởi chạy máy chủ cục bộ tương thích chuẩn OpenAI: llama serve -hf <user>/<repo>.

Thay thế phần giữ chỗ bằng kho lưu trữ Hugging Face chứa phiên bản GGUF của mô hình Llama bạn muốn. Đọc phần mô tả của kho lưu trữ để kiểm tra chuẩn lượng tử hóa của từng file; file càng nhẹ thì càng tốn ít bộ nhớ nhưng chất lượng sẽ giảm đi phần nào.

Cách 4: Sử dụng trọng số gốc từ Meta

Các lập trình viên cần trọng số gốc với độ chính xác đầy đủ có thể tải trực tiếp từ các trang của Meta trên Hugging Face, chẳng hạn như Llama 3.1 8B Instruct hoặc Llama 4 Scout. Các kho lưu trữ này yêu cầu quyền truy cập: bạn phải đăng nhập và chấp nhận các điều khoản giấy phép trên trang mô hình trước khi tải. Thẻ mô hình cũng đi kèm mã mẫu cho thư viện Transformers của Hugging Face. Do trọng số gốc đòi hỏi bộ nhớ lớn hơn rất nhiều so với các bản lượng tử hóa kể trên, cách này chủ yếu dành cho máy chủ chuyên dụng và phục vụ tinh chỉnh (fine-tuning).

Kinh nghiệm để sử dụng mượt mà

• Bắt đầu từ mô hình nhỏ. Hãy thử mô hình 8B hoặc 3B trước. Chỉ nâng cấp lên mô hình lớn hơn nếu câu trả lời chưa đạt yêu cầu và phần cứng của bạn đáp ứng được.
• Đóng các ứng dụng nặng khác. Trình duyệt mở quá nhiều tab và các tựa game nặng sẽ chiếm dụng bộ nhớ cần cho mô hình.
• Giữ độ dài hội thoại vừa phải. Các đoạn chat quá dài sẽ tốn thêm nhiều bộ nhớ và làm chậm tốc độ phản hồi. Hãy mở đoạn chat mới khi đổi chủ đề.
• Sử dụng câu lệnh hệ thống (system prompt). Việc mô tả vai trò và phong cách trả lời mong muốn sẽ giúp ích rất nhiều cho các mô hình nhỏ. Hãy tham khảo ý tưởng tại thư viện prompt của chúng tôi.
• Lưu ý về giấy phép sử dụng. Chạy mô hình cho mục đích cá nhân rất đơn giản, nhưng nếu bạn xây dựng sản phẩm thương mại, hãy xem kỹ hướng dẫn về giấy phép Llama của chúng tôi.
• Dữ liệu kiến thức có giới hạn thời gian. Các mô hình chạy trên máy không tự tìm kiếm web. Kiến thức của Llama 3.x dừng lại vào tháng 12/2023 và Llama 4 dừng vào tháng 8/2024.

Nên chạy trên máy hay dùng online?

Hãy chạy Llama trên máy khi bạn ưu tiên quyền riêng tư tuyệt đối, muốn dùng offline hoặc sử dụng thường xuyên mỗi ngày, và khi phần cứng đáp ứng tốt. Hãy chọn chat online khi bạn muốn trải nghiệm các mô hình Llama 4 kích thước lớn mà không có máy tính cấu hình khủng, hoặc đơn giản là muốn dùng thử Llama AI. Bạn cũng có thể tích hợp Llama vào mã nguồn qua các nhà cung cấp đám mây; hãy xem thêm hướng dẫn Llama API của chúng tôi.

Dùng thử Llama 4 Maverick online ngay

Câu hỏi thường gặp

Tôi có thể chạy Llama mà không cần card đồ họa không?

Có, các mô hình nhỏ như Llama 3.2 3B và Llama 3.1 8B vẫn chạy được trên CPU thông thường, chỉ là tốc độ sẽ chậm hơn. Các mô hình lớn hơn sẽ khó sử dụng mượt mà nếu thiếu GPU mạnh hoặc dung lượng bộ nhớ hợp nhất lớn.

Chạy Llama trên máy có mất phí không?

Các phần mềm kể trên cùng trọng số Llama đều hoàn toàn miễn phí tải về. Chi phí duy nhất của bạn là thiết bị phần cứng và tiền điện.

Mô hình Llama chạy trên máy có đọc được hình ảnh không?

Llama 4 Scout và Maverick có hỗ trợ nhận diện hình ảnh, các bản Llama 3.2 Vision cũng vậy. Các mô hình thuần văn bản 1B, 3B và 8B thì không hỗ trợ tính năng này.

Người mới bắt đầu nên chọn công cụ nào?

Hãy chọn LM Studio nếu bạn thích thao tác nhấp chuột trên giao diện trực quan, hoặc chọn Ollama nếu bạn thấy thoải mái với việc gõ một câu lệnh đơn giản trong terminal.