Cách các mô hình ngôn ngữ lớn như Llama hoạt động

Khi bạn nhập câu hỏi vào đoạn chat, Llama không hề tra cứu câu trả lời ở bất kỳ đâu. Mô hình tự viết ra câu trả lời, từng phần nhỏ một, dựa trên các quy luật đã học được trong quá trình huấn luyện. Hiểu được nguyên lý duy nhất này sẽ giúp bạn lý giải hầu hết những gì mô hình ngôn ngữ lớn (LLM) làm tốt cũng như những lỗi sai phổ biến của chúng. Bài viết này sẽ giải thích cách hoạt động của chúng mà không cần đến toán học phức tạp, lấy các mô hình Llama AI trong khung chat của chúng tôi làm ví dụ.

Token: cách mô hình đọc văn bản

Mô hình ngôn ngữ không nhìn từng chữ cái hay nguyên từ. Văn bản được chia thành các token: một từ phổ biến thường là một token đơn lẻ, từ dài hoặc hiếm hơn sẽ bị chia thành nhiều mảnh, và dấu câu cũng được tính là token. Mỗi token được chuyển thành một chuỗi số để mô hình có thể tính toán.

Token giải thích cho một số hành vi kỳ lạ. Nếu bạn hỏi mô hình xem chữ "r" xuất hiện bao nhiêu lần trong một từ dài, hoặc yêu cầu đánh vần ngược một từ, mô hình có thể trả lời sai, đơn giản vì nó chưa từng nhìn thấy các chữ cái riêng lẻ ngay từ đầu. Token cũng là lý do vì sao các giới hạn (lượng văn bản mô hình có thể đọc, độ dài tối đa của câu trả lời) được đo bằng token chứ không phải bằng từ. Các ngôn ngữ cần nhiều token hơn trên mỗi câu sẽ chạm tới các giới hạn đó nhanh hơn.

Dự đoán: từng token một

Về cốt lõi, LLM chỉ làm một việc duy nhất: dựa trên đoạn văn bản có sẵn tính đến hiện tại, nó ước tính xác suất xuất hiện của từng token tiếp theo có thể có. Mô hình chọn một token, thêm vào văn bản và lặp lại quy trình. Một câu trả lời dài thực chất là hàng trăm hoặc hàng nghìn bước như vậy ghép lại.

Mô hình không phải lúc nào cũng chọn token có xác suất cao nhất. Một chút ngẫu nhiên có kiểm soát, thường được thiết lập qua thông số gọi là temperature, giúp câu trả lời đa dạng và tự nhiên hơn. Đó là lý do vì sao cùng một câu hỏi lại cho ra cách diễn đạt khác nhau ở mỗi lần hỏi, và việc nhấn tạo lại có thể mang lại câu trả lời hay hơn.

Huấn luyện: từ bộ dự đoán văn bản thành trợ lý AI

Tiền huấn luyện (Pre-training)

Đầu tiên, mô hình đọc một lượng dữ liệu văn bản khổng lồ và học cách dự đoán token tiếp theo. Model card của Meta mô tả dữ liệu tiền huấn luyện cho Llama 3.3 và 3.1 là "sự kết hợp mới từ các nguồn dữ liệu trực tuyến công khai" với hơn 15 nghìn tỷ token. Llama 4 được huấn luyện trên sự kết hợp giữa dữ liệu công khai, dữ liệu được cấp phép và thông tin từ các sản phẩm của Meta, vào khoảng 40 nghìn tỷ token cho Scout và 22 nghìn tỷ cho Maverick. Trong quá trình này, mô hình tiếp thu ngữ pháp, sự thật, phong cách viết, mã code và các quy luật lập luận, bởi tất cả những điều đó đều giúp nó dự đoán chuẩn xác hơn.

Tinh chỉnh theo chỉ dẫn (Instruction tuning)

Một bộ dự đoán thô chỉ đơn thuần viết tiếp văn bản; nó không biết cách trả lời câu hỏi sao cho hữu ích. Vì vậy, mô hình được huấn luyện nâng cao trên các ví dụ về chỉ dẫn đi kèm câu trả lời chuẩn, cùng với phản hồi từ con người về việc câu trả lời nào tốt hơn. Model card cho Llama 3.x của Meta gọi các bước này là tinh chỉnh có giám sát (SFT) và học tăng cường từ phản hồi của con người (RLHF). Kết quả mang lại chính là phiên bản "Instruct" mà bạn đang trò chuyện cùng.

Mốc giới hạn kiến thức (Knowledge cut-off)

Dữ liệu huấn luyện sẽ dừng lại ở một thời điểm nhất định, và mô hình không hề biết gì về những sự kiện sau đó. Theo model card của Meta, mốc giới hạn là tháng 8 năm 2024 đối với Llama 4 Maverick và Scout, và tháng 12 năm 2023 đối với Llama 3.3 70B và Llama 3.1 8B. Nếu bạn hỏi bất cứ điều gì diễn ra sau thời gian này, mô hình sẽ trả lời là không biết hoặc tệ hơn là tự suy đoán. Khung chat của chúng tôi không có tính năng truy cập web để cập nhật khoảng trống đó.

Ngữ cảnh: bộ nhớ tạm thời của mô hình

Mọi thứ mô hình cân nhắc trong khi viết câu trả lời (các chỉ dẫn, đoạn hội thoại từ đầu đến giờ và tin nhắn mới của bạn) được gọi là ngữ cảnh (context). Ngoài phạm vi đó ra, nó không có bộ nhớ nào khác. Khi bạn bắt đầu một đoạn chat mới, mô hình hoàn toàn không nhớ gì về các cuộc trò chuyện trước đây.

Kích thước tối đa của bộ nhớ này gọi là cửa sổ ngữ cảnh (context window), được đo bằng token. Model card của Meta ghi nhận 128K token cho Llama 3.3 và 3.1, 1M cho Llama 4 Maverick và 10M cho Llama 4 Scout; nhà cung cấp dịch vụ chúng tôi sử dụng hỗ trợ khoảng 524K cho Maverick và khoảng 1,3M cho Scout. Khung chat của chúng tôi chỉ gửi một phần rút gọn của mỗi hội thoại để duy trì tốc độ phản hồi nhanh, đó là lý do vì sao những tin nhắn quá xa ở đầu đoạn chat dài có thể không còn tác động đến các câu trả lời sau.

Mixture of experts: cấu trúc của Llama 4

Các mô hình Llama 3 là dạng dày đặc (dense): mọi tham số (các trọng số đã học bên trong mô hình) đều được kích hoạt cho từng token. Llama 4 chuyển sang sử dụng thiết kế hỗn hợp chuyên gia (mixture-of-experts). Mô hình chứa nhiều mạng con chuyên biệt gọi là các chuyên gia (experts), và với mỗi token, chỉ một vài chuyên gia được kích hoạt. Model card của Meta cung cấp số liệu: Llama 4 Scout có 17 tỷ tham số hoạt động trên tổng số 109 tỷ, với 16 chuyên gia; Llama 4 Maverick có 17 tỷ tham số hoạt động trên tổng số 400 tỷ, với 128 chuyên gia. Ưu điểm ở đây là mô hình lưu trữ được lượng kiến thức khổng lồ nhưng chi phí vận hành trên mỗi token lại rẻ hơn so với mô hình dense có cùng kích thước tổng thể.

Llama 4 cũng là mô hình đa phương thức nguyên bản (natively multimodal). Meta mô tả đây là cơ chế "kết hợp sớm" (early fusion): văn bản và hình ảnh được xử lý đồng thời trong cùng một mô hình chứ không qua một tiện ích ghép nối riêng biệt. Nhờ vậy, Maverick và Scout có thể trả lời các câu hỏi về ảnh bạn đính kèm, trong khi các mô hình Llama 3 thuần văn bản thì không thể.

Vì sao các mô hình lại bịa đặt thông tin?

Một mô hình ngôn ngữ được huấn luyện để tạo ra văn bản nghe có vẻ hợp lý, chứ không phải để xác minh xem văn bản đó có đúng sự thật hay không. Khi mô hình đã học kỹ một dữ kiện, tính hợp lý và sự thật sẽ trùng khớp. Khi nó chưa học kỹ (một cái tên hiếm, một con số chính xác, một sự kiện mới xảy ra, một trích dẫn nguồn), nó vẫn tạo ra thứ gì đó nghe có vẻ rất thuyết phục. Hiện tượng này thường được gọi là ảo giác (hallucination). Đây không phải là hành vi nói dối: mô hình không có một cơ sở dữ liệu riêng biệt nào chứa các dữ kiện thực tế để tra cứu.

• Số liệu chính xác, ngày tháng, trích dẫn và tài liệu tham khảo là những phần dễ bị sai nhất.
• Hỏi lại "bạn có chắc không?" có thể khiến mô hình tự sửa sai, hoặc ngược lại, xin lỗi vì một thông tin vốn dĩ đang đúng. Đây không phải là cách kiểm tra đáng tin cậy.
• Cung cấp văn bản gốc cho mô hình và yêu cầu nó chỉ làm việc dựa trên tài liệu đó thường sẽ giảm bớt lỗi sai.

Bạn có thể thấy rõ sự khác biệt qua hai cách đặt câu hỏi cho cùng một nội dung:

Dựa vào trí nhớ (rủi ro hơn):
Thư viện thị trấn ở [thị trấn của tôi] được thành lập khi nào và ai là người tài trợ?

Dựa vào tài liệu nguồn (an toàn hơn):
Chỉ sử dụng văn bản dưới đây, hãy cho biết thư viện được thành lập khi nào
và ai tài trợ. Nếu văn bản không nhắc đến, hãy trả lời "không có thông tin".
"""
[dán đoạn văn bản từ chính trang web của thư viện vào đây]
"""

Ở trường hợp đầu tiên, mô hình có thể biết rất ít hoặc không biết gì về thư viện địa phương của bạn và có thể đưa ra một phỏng đoán đầy tự tin. Ở trường hợp thứ hai, các dữ kiện đã nằm sẵn trong ngữ cảnh, mô hình chỉ việc đọc chúng. Công cụ tóm tắt văn bản cũng hoạt động theo cách tương tự: trả lời dựa trên chính văn bản bạn cung cấp.

Hướng dẫn của chúng tôi về cách kiểm chứng câu trả lời từ AI sẽ giúp bạn biến điều này thành thói quen thực hành hiệu quả.

Lời khuyên thực tế khi bạn sử dụng chat

Để tận mắt thấy các cơ chế này hoạt động, hãy yêu cầu Llama tự giải thích về chính nó. Về kỹ thuật viết câu lệnh, bạn có thể đọc thêm cách viết prompt; để tìm hiểu sâu về các mô hình, hãy xem Llama là gì và lịch sử dòng mô hình Llama.

Câu hỏi thường gặp

Llama có thực sự hiểu những gì nó nói không?

Điều đó tùy thuộc vào cách bạn định nghĩa từ "hiểu", và ngay cả giới nghiên cứu cũng chưa đồng nhất quan điểm. Trong thực tế, mô hình nắm bắt ngữ nghĩa đủ tốt để tóm tắt, dịch thuật và lập luận giải quyết nhiều vấn đề, nhưng đôi khi lại vấp ngã ở những việc một đứa trẻ cũng làm được. Hãy đánh giá mô hình bằng cách kiểm tra kết quả đầu ra, thay vì chỉ nghe theo văn phong mượt mà của nó.

Mô hình có học hỏi từ các cuộc trò chuyện của tôi không?

Không. Các tham số của mô hình không hề thay đổi trong lúc bạn trò chuyện. Trong cùng một hội thoại, nó dùng những gì bạn nói làm ngữ cảnh; một khi bạn mở đoạn chat mới, ngữ cảnh đó sẽ mất đi.

Điểm khác biệt giữa Llama và ChatGPT là gì?

Cả hai đều dựa trên các mô hình ngôn ngữ lớn được xây dựng dựa trên nguyên lý tương tự nhau. Llama là dòng mô hình do Meta phát triển và phát hành mở trọng số theo giấy phép của Meta, cho phép bất kỳ ai tải về và tự chạy; ChatGPT là ứng dụng của OpenAI, chạy các mô hình của OpenAI dưới dạng dịch vụ lưu trữ trực tuyến có trả phí hoặc miễn phí qua web. Xem chi tiết tại so sánh Llama và ChatGPT.

Tham số (parameters) là gì?

Đó là các trọng số dạng số bên trong mô hình được tinh chỉnh trong suốt quá trình huấn luyện. Càng nhiều tham số, mô hình càng lưu trữ được nhiều quy luật phức tạp nhưng lại đòi hỏi năng lực tính toán lớn hơn. Kích thước mô hình không phải là yếu tố duy nhất quyết định chất lượng; dữ liệu huấn luyện và quá trình tinh chỉnh cũng quan trọng không kém.

Vì sao chỉ có một số mô hình nhận diện được hình ảnh?

Llama 4 Maverick và Scout được huấn luyện đồng thời trên cả văn bản lẫn hình ảnh. Trong khi đó, Llama 3.3 70B và Llama 3.1 8B là các mô hình thuần văn bản, nên chúng không thể xem ảnh. Bài hướng dẫn chọn mô hình Llama phù hợp của chúng tôi sẽ so sánh chi tiết cả bốn mô hình này.