Cara model bahasa besar seperti Llama berfungsi

Apabila anda menaip soalan dalam sembang, Llama tidak mencari jawapannya di mana-mana. Ia menulis jawapan sedikit demi sedikit berdasarkan corak yang dipelajarinya semasa latihan. Memahami konsep asas ini menjelaskan banyak perkara tentang keupayaan model bahasa besar (LLM) dan punca kesilapannya. Panduan ini menerangkan cara ia berfungsi tanpa sebarang formula matematik, menggunakan model Llama dalam sembang kami sebagai contoh.

Token: cara model membaca teks

Model bahasa tidak melihat huruf atau perkataan penuh. Teks dipecahkan kepada token: perkataan biasa selalunya menjadi satu token, perkataan yang lebih panjang atau jarang digunakan dipecahkan kepada beberapa bahagian, dan tanda baca turut diambil kira. Setiap token ditukar menjadi senarai nombor untuk dikira oleh model.

Token menjelaskan beberapa tingkah laku yang pelik. Jika anda bertanya berapa kali huruf "r" muncul dalam perkataan yang panjang, atau memintanya mengeja perkataan secara terbalik, ia mungkin silap kerana ia tidak pernah melihat huruf-huruf tersebut secara berasingan. Token juga menjadi sebab had (jumlah teks yang boleh dibaca model, panjang jawapan) diukur dalam token dan bukannya perkataan. Bahasa yang memerlukan lebih banyak token bagi setiap ayat akan mencapai had tersebut dengan lebih cepat.

Ramalan: satu token pada satu masa

Pada terasnya, LLM melakukan satu perkara sahaja: berdasarkan teks sedia ada, ia menganggarkan kemungkinan bagi setiap token seterusnya. Ia memilih satu token, menambahkannya pada teks, dan mengulangi proses ini. Jawapan yang panjang terdiri daripada ratusan atau ribuan langkah ini.

Model tidak sentiasa memilih satu-satunya token yang paling berkemungkinan. Sedikit rawak terkawal, yang biasanya ditetapkan oleh parameter bernama temperature, memastikan jawapan kekal pelbagai dan semula jadi. Itulah sebabnya soalan yang sama memberikan susunan kata yang berbeza setiap kali, dan mengapa menjana semula jawapan boleh memberikan hasil yang lebih baik.

Latihan: daripada peramal teks kepada pembantu pintar

Pra-latihan (Pre-training)

Pertama, model membaca jumlah teks yang amat besar dan belajar meramal token seterusnya. Kad model Meta menggambarkan data pra-latihan untuk Llama 3.3 dan 3.1 sebagai "campuran baharu data dalam talian yang tersedia secara umum" melebihi 15 trilion token. Llama 4 pula dilatih menggunakan campuran data awam, data berlesen, serta maklumat daripada produk Meta—kira-kira 40 trilion token untuk Scout dan 22 trilion untuk Maverick. Sepanjang proses ini, model mempelajari tatabahasa, fakta, gaya penulisan, kod, dan corak penaakulan kerana semuanya membantu ia membuat ramalan dengan lebih tepat.

Penalaan arahan (Instruction tuning)

Model peramal asas hanya menyambung teks; ia tidak menjawab soalan dengan berguna. Oleh itu, model dilatih lebih lanjut menggunakan contoh arahan bersama respons yang baik, serta maklum balas manusia tentang jawapan mana yang lebih tepat. Kad model Llama 3.x oleh Meta menamakan langkah ini sebagai penalaan halus diselia (SFT) dan pembelajaran pengukuhan dengan maklum balas manusia (RLHF). Hasilnya ialah versi "Instruct" yang anda gunakan untuk bersembang.

Had masa pengetahuan (Knowledge cut-off)

Data latihan terhenti pada tarikh tertentu, dan model tidak mengetahui apa-apa peristiwa selepas tarikh tersebut. Menurut kad model Meta, had masa ini ialah Ogos 2024 untuk Llama 4 Maverick dan Scout, serta Disember 2023 untuk Llama 3.3 70B dan Llama 3.1 8B. Jika anda bertanya tentang perkara selepas tarikh itu, model sama ada menyatakan ia tidak tahu atau membuat andaian rambang. Sembang kami tidak mempunyai akses web untuk mengisi jurang tersebut.

Konteks: memori kerja model

Segala yang dipertimbangkan oleh model semasa menulis jawapan (arahan, perbualan sedia ada, dan mesej baharu anda) dipanggil konteks. Tiada memori lain di luar lingkungan ini. Apabila anda memulakan sembang baharu, model tidak mengingati apa-apa tentang sembang anda sebelum ini.

Saiz maksimumnya ialah tetingkap konteks (context window), yang diukur dalam token. Kad model Meta menyenaraikan 128K token untuk Llama 3.3 dan 3.1, 1M untuk Llama 4 Maverick, dan 10M untuk Llama 4 Scout; penyedia yang kami gunakan menawarkan sekitar 524K untuk Maverick dan kira-kira 1.3M untuk Scout. Sembang kami menghantar pecahan perbualan yang lebih pendek bagi memastikan jawapan kekal pantas. Inilah sebab mengapa mesej terawal dalam sembang yang panjang mungkin tidak lagi mempengaruhi jawapannya.

Campuran pakar (Mixture of experts): cara Llama 4 dibina

Model Llama 3 bersifat padat (dense): setiap parameter (nombor terpelajar di dalam model) digunakan bagi setiap token. Llama 4 sebaliknya menggunakan reka bentuk campuran pakar (mixture-of-experts). Model ini mengandungi banyak sub-rangkaian khusus yang dipanggil pakar, dan bagi setiap token hanya sebahagian daripadanya digunakan. Kad model Meta menyatakan: Llama 4 Scout mempunyai 17 bilion parameter aktif daripada 109 bilion keseluruhannya, dengan 16 pakar; Llama 4 Maverick mempunyai 17 bilion aktif daripada 400 bilion, dengan 128 pakar. Manfaatnya ialah model ini dapat menyimpan banyak pengetahuan tetapi kos pengiraannya bagi setiap token lebih rendah berbanding model padat dengan saiz keseluruhan yang sama.

Llama 4 juga bersifat multimod asli. Meta menerangkan konsep "cantuman awal" (early fusion): teks dan imej diproses bersama dalam satu model dan bukannya melalui modul tambahan yang berasingan. Itulah sebabnya Maverick dan Scout boleh menjawab soalan tentang foto yang anda lampirkan, manakala model Llama 3 yang berasaskan teks sahaja tidak dapat berbuat demikian.

Mengapa model mereka-reka maklumat

Model bahasa dilatih untuk menghasilkan teks yang meyakinkan, bukan untuk menyemak sama ada teks itu benar. Apabila ia mempelajari sesuatu fakta dengan baik, teks yang meyakinkan dan fakta sebenar adalah selari. Namun jika tidak (nama yang jarang ditemui, angka tepat, peristiwa terkini, petikan sumber), ia tetap menghasilkan ayat yang kedengaran betul. Ini biasanya dipanggil halusinasi. Model ini bukan sengaja menipu: ia memang tidak mempunyai pangkalan data fakta yang berasingan untuk dirujuk.

• Nombor tepat, tarikh, petikan kata, dan rujukan adalah bahagian yang paling kerap silap.
• Bertanya "adakah anda pasti?" boleh mencetuskan pembetulan, atau permohonan maaf untuk sesuatu yang sebenarnya sudah betul. Ini bukan cara semakan yang boleh dipercayai.
• Memberikan teks sumber kepada model dan memintanya menjawab berdasarkan teks itu sahaja biasanya dapat mengurangkan kesilapan.

Anda boleh melihat perbezaannya melalui dua versi permintaan yang sama:

Berdasarkan ingatan (lebih berisiko):
Bilakah perpustakaan awam di [bandar saya] ditubuhkan, dan siapa yang membiayainya?

Berdasarkan sumber (lebih selamat):
Hanya berpandukan teks di bawah, nyatakan bila perpustakaan itu ditubuhkan
dan siapa yang membiayainya. Jika teks tidak menyatakan, jawab "tidak dinyatakan".
"""
[tampal perenggan daripada laman web perpustakaan itu sendiri]
"""

Dalam contoh pertama, model mungkin melihat sedikit atau tiada langsung maklumat mengenai perpustakaan tempatan anda, lalu memberikan tekaan yang yakin. Dalam contoh kedua, faktanya sudah ada dalam konteks, jadi ia hanya perlu membacanya. Alat meringkaskan teks berfungsi dengan cara yang sama: ia menjawab berdasarkan teks yang anda berikan.

Panduan kami tentang menyemak fakta jawapan AI menerangkan langkah praktikal untuk tujuan ini.

Perkara yang perlu diambil perhatian semasa menggunakan sembang

Untuk melihat konsep ini secara praktikal, minta Llama menerangkan dirinya sendiri. Untuk teknik penulisan arahan, baca cara menulis prom; untuk maklumat lanjut tentang model, lihat apa itu Llama dan sejarah keluarga Llama.

Soalan Lazim

Adakah Llama memahami apa yang dikatakannya?

Itu bergantung pada maksud "faham", dan para penyelidik mempunyai pandangan berbeza. Secara praktikalnya, ia mengendalikan maksud ayat dengan cukup baik untuk meringkaskan, menterjemah, dan menaakul pelbagai masalah, namun ia boleh gagal dalam perkara mudah yang difahami oleh kanak-kanak. Nilailah ia berdasarkan ketepatan hasil kerjanya, bukan kelancaran bahasanya.

Adakah ia belajar daripada perbualan saya?

Tidak. Parameter model tidak berubah semasa anda bersembang. Dalam satu perbualan, ia menggunakan apa yang anda katakan sebagai konteks; sebaik sahaja anda memulakan sembang baharu, konteks tersebut akan hilang.

Apakah perbezaan antara Llama dan ChatGPT?

Kedua-duanya menggunakan model bahasa besar yang dibina atas prinsip yang serupa. Llama ialah keluarga model yang dicipta oleh Meta dan dikeluarkan dengan pemberat terbuka di bawah lesen Meta, membolehkan sesiapa sahaja memuat turun dan menjalankannya; ChatGPT ialah aplikasi OpenAI yang menjalankan model OpenAI sebagai perkhidmatan berhos. Lihat perbandingan Llama vs ChatGPT.

Apakah itu parameter?

Parameter ialah nombor di dalam model yang dilaraskan semasa latihan. Lebih banyak parameter bermakna lebih banyak corak boleh disimpan, tetapi ia memerlukan kuasa pengkomputeran yang lebih tinggi. Saiz semata-mata tidak menentukan kualiti; data latihan dan penalaan turut memainkan peranan penting.

Mengapa hanya sebahagian model menyokong imej?

Llama 4 Maverick dan Scout dilatih menggunakan teks dan imej secara serentak. Llama 3.3 70B dan Llama 3.1 8B ialah model teks sahaja, jadi ia tidak boleh memproses gambar. Panduan kami tentang memilih model Llama membandingkan kesemua empat model ini.