Cara kerja model bahasa besar (LLM) seperti Llama

Saat Anda mengetikkan pertanyaan ke dalam obrolan, Llama tidak mencari jawabannya di suatu tempat. Model ini menuliskan jawabannya, sedikit demi sedikit, berdasarkan pola yang dipelajarinya selama pelatihan. Memahami konsep dasar ini menjelaskan sebagian besar kelebihan model bahasa besar (LLM) dan alasan mengapa mereka bisa melakukan kesalahan. Panduan ini membahas cara kerjanya secara sederhana tanpa rumus matematika rumit, menggunakan model Llama di obrolan kami sebagai contoh.

Token: cara model membaca teks

Model bahasa tidak melihat huruf atau kata secara utuh. Teks dipecah menjadi token: kata umum sering kali menjadi satu token tunggal, kata yang lebih panjang atau jarang digunakan dipecah menjadi beberapa bagian, dan tanda baca juga dihitung sebagai token terpisah. Setiap token kemudian diubah menjadi deretan angka yang dapat diproses dan dihitung oleh model.

Konsep token ini menjelaskan beberapa perilaku aneh LLM. Misalnya, jika Anda meminta model menghitung berapa kali huruf "r" muncul dalam sebuah kata yang panjang, atau mengeja kata secara terbalik, hasilnya mungkin salah karena sejak awal model tidak melihat huruf-huruf tersebut secara terpisah. Token juga menjadi alasan mengapa batasan teknis (seberapa banyak teks yang bisa dibaca atau panjangnya jawaban) diukur dalam token, bukan jumlah kata. Bahasa yang membutuhkan lebih banyak token per kalimat akan mencapai batasan tersebut lebih cepat.

Prediksi: satu demi satu token

Pada dasarnya, LLM hanya melakukan satu hal utama: berdasarkan teks yang sudah ada sejauh ini, model memperkirakan seberapa besar kemungkinan setiap kandidat token berikutnya yang akan muncul. Model memilih salah satu token tersebut, menambahkannya ke teks, lalu mengulangi prosesnya. Jawaban yang panjang merupakan hasil dari ratusan hingga ribuan langkah prediksi ini.

Model tidak selalu memilih token dengan probabilitas tertinggi secara mutlak. Sedikit variasi acak yang terkontrol—biasanya diatur oleh parameter bernama temperature—menjaga agar jawabannya tetap bervariasi dan luwes secara alami. Itulah alasan mengapa pertanyaan yang sama bisa menghasilkan susunan kata yang berbeda setiap kali diajukan, dan mengapa menekan tombol buat ulang (regenerate) bisa memberikan respons yang lebih baik.

Pelatihan: dari pemprediksi teks menjadi asisten cerdas

Pre-training (Pra-pelatihan)

Pertama, model membaca teks dalam jumlah yang sangat masif dan belajar memprediksi token berikutnya. Model card dari Meta menjelaskan data pra-pelatihan untuk Llama 3.3 dan 3.1 sebagai "campuran baru dari data online yang tersedia untuk umum" dengan ukuran lebih dari 15 triliun token. Llama 4 dilatih menggunakan kombinasi data publik, data berlisensi, serta informasi dari produk-produk Meta—sekitar 40 triliun token untuk Scout dan 22 triliun untuk Maverick. Melalui proses ini, model menyerap tata bahasa, fakta, gaya penulisan, kode pemrograman, dan pola penalaran logika, karena semua aspek ini membantunya membuat prediksi yang lebih akurat.

Instruction tuning (Penyelarasan instruksi)

Model prediksi murni hanya akan melanjutkan kalimat; model belum bisa menjawab pertanyaan secara terstruktur dan membantu. Oleh karena itu, model dilatih lebih lanjut menggunakan contoh-contoh instruksi yang dipasangkan dengan tanggapan yang baik, serta masukan dari manusia mengenai jawaban mana yang lebih tepat. Model card Llama 3.x dari Meta menyebut tahapan ini sebagai supervised fine-tuning (SFT) dan reinforcement learning with human feedback (RLHF). Hasil akhirnya adalah versi "Instruct" yang Anda gunakan saat mengobrol.

Batas waktu pengetahuan (Knowledge cut-off)

Data pelatihan berhenti pada tanggal tertentu, dan model tidak mengetahui apa pun setelahnya. Berdasarkan model card Meta, batas waktu pengetahuan adalah Agustus 2024 untuk Llama 4 Maverick dan Scout, serta Desember 2023 untuk Llama 3.3 70B dan Llama 3.1 8B. Jika Anda menanyakan peristiwa setelah tanggal tersebut, model akan menyatakan tidak tahu atau, lebih buruk lagi, mengira-ngira. Obrolan kami tidak memiliki akses web langsung untuk menutupi celah informasi tersebut.

Konteks: memori kerja model

Segala hal yang dipertimbangkan model saat menyusun jawaban (instruksi sistem, riwayat percakapan yang berjalan, dan pesan baru Anda) disebut sebagai konteks. Model tidak memiliki ingatan di luar itu. Saat Anda memulai sesi obrolan baru, model tidak mengetahui apa pun tentang percakapan Anda sebelumnya.

Ukuran kapasitas maksimal ini disebut context window, yang dihitung dalam satuan token. Model card Meta mencantumkan kapasitas 128K token untuk Llama 3.3 dan 3.1, 1M untuk Llama 4 Maverick, serta 10M untuk Llama 4 Scout. Penyedia infrastruktur yang kami gunakan menawarkan sekitar 524K untuk Maverick dan sekitar 1,3M untuk Scout. Obrolan kami mengirimkan potongan percakapan yang lebih ringkas agar respons tetap cepat, sehingga pesan-pesan yang terlalu lama pada obrolan yang panjang bisa berhenti memengaruhi jawaban terbaru.

Mixture of experts: arsitektur Llama 4

Model Llama 3 menggunakan arsitektur dense: setiap parameter (angka yang dipelajari di dalam model) selalu diaktifkan untuk memproses setiap token. Llama 4 beralih menggunakan pendekatan mixture-of-experts (MoE). Model ini terdiri dari banyak sub-jaringan khusus yang disebut ahli (experts), dan untuk setiap token, hanya beberapa ahli yang diaktifkan. Model card Meta merinci angkanya: Llama 4 Scout memiliki 17 miliar parameter aktif dari total 109 miliar parameter dengan 16 experts; Llama 4 Maverick memiliki 17 miliar parameter aktif dari total 400 miliar parameter dengan 128 experts. Keunggulannya adalah model mampu menyimpan wawasan yang sangat luas namun membutuhkan biaya komputasi per token yang jauh lebih rendah dibanding model dense berukuran total sama.

Llama 4 juga bersifat multimodal bawaan (natively multimodal). Meta menerapkan pendekatan "early fusion": teks dan gambar diproses secara terpadu di dalam satu model tunggal, bukan melalui modul tambahan yang terpisah. Hal inilah yang memungkinkan Maverick dan Scout menjawab pertanyaan tentang foto yang Anda unggah, sementara model Llama 3 yang berbasis teks saja tidak dapat memprosesnya.

Mengapa model bahasa bisa mengarang informasi

Model bahasa dilatih untuk menghasilkan kalimat yang terdengar meyakinkan dan masuk akal, bukan untuk memverifikasi kebenaran faktualnya. Ketika model telah mempelajari suatu fakta dengan baik, teks yang terdengar meyakinkan akan sejalan dengan fakta sebenarnya. Namun ketika model tidak mengetahuinya (seperti nama yang tidak umum, angka spesifik, peristiwa baru, atau kutipan rujukan), model tetap akan menghasilkan kalimat yang terdengar meyakinkan. Hal ini biasa disebut halusinasi. Model tidak berniat membohongi Anda: LLM memang tidak memiliki pangkalan data fakta terpisah untuk mengecek ulang kebenarannya.

• Angka presisi, tanggal, kutipan langsung, dan daftar referensi adalah bagian yang paling rentan keliru.
• Menanyakan "apakah kamu yakin?" bisa memicu model meralat jawabannya, atau justru meminta maaf atas pernyataan yang sebenarnya sudah benar. Cara ini bukan metode pengujian yang andal.
• Memberikan teks sumber secara langsung dan meminta model menjawab hanya berdasarkan teks tersebut biasanya ampuh meminimalkan kesalahan.

Perhatikan perbedaan dari dua cara penyusunan prompt berikut:

Mengandalkan memori model (lebih berisiko):
Kapan perpustakaan kota di [kota saya] didirikan, dan siapa yang mendanainya?

Menggunakan teks sumber (jauh lebih aman):
Hanya berdasarkan teks di bawah ini, sebutkan kapan perpustakaan didirikan dan
siapa yang mendanainya. Jika tidak disebutkan di dalam teks, jawab "tidak tercantum".
"""
[tempel paragraf dari situs web resmi perpustakaan terkait]
"""

Pada contoh pertama, model kemungkinan memiliki informasi yang sangat minim atau bahkan tidak tahu sama sekali tentang perpustakaan setempat Anda, sehingga cenderung membuat tebakan yang terdengar meyakinkan. Pada contoh kedua, faktanya sudah tersedia langsung di dalam konteks, sehingga model hanya perlu membacanya. Fitur summarizer bekerja dengan prinsip serupa: menjawab berdasarkan teks yang Anda berikan.

Panduan kami tentang cara memeriksa fakta jawaban AI merangkum langkah-langkah praktis untuk melakukannya.

Implikasi praktis saat Anda menggunakan obrolan

Untuk melihat langsung cara kerja konsep-konsep ini, silakan minta Llama menjelaskan cara kerjanya sendiri. Untuk teknik penulisan instruksi yang efektif, baca cara menulis prompt; untuk rincian modelnya, pelajari apa itu Llama serta sejarah perkembangan keluarga Llama.

FAQ

Apakah Llama benar-benar memahami apa yang diucapkannya?

Itu tergantung pada bagaimana Anda mendefinisikan "memahami", dan para peneliti pun memiliki pandangan berbeda. Secara praktis, model dapat memproses makna dengan cukup baik untuk merangkum, menerjemahkan, dan menganalisis berbagai masalah logika, tetapi di sisi lain model bisa gagal pada hal-hal yang sangat mudah bagi anak kecil. Nilailah kualitasnya dari hasil pekerjaannya, bukan dari seberapa luwes bahasanya terdengar.

Apakah model belajar dari percakapan saya?

Tidak. Parameter internal model tidak berubah saat Anda sedang mengobrol. Dalam satu sesi percakapan, model menggunakan apa yang Anda ketik sebagai konteks kerja sementara; begitu Anda memulai obrolan baru, konteks tersebut akan hilang sepenuhnya.

Apa perbedaan antara Llama dan ChatGPT?

Keduanya dibangun di atas model bahasa besar dengan prinsip kerja yang serupa. Llama adalah keluarga model besutan Meta yang dirilis dengan bobot terbuka (open weights) di bawah lisensi Meta, sehingga siapa pun dapat mengunduh dan menjalankannya secara mandiri; sedangkan ChatGPT adalah aplikasi dari OpenAI yang menjalankan model-model milik OpenAI sebagai layanan terkelola. Baca perbandingan lengkapnya di Llama vs ChatGPT.

Apa yang dimaksud dengan parameter?

Parameter adalah nilai-nilai numerik di dalam model yang terus disesuaikan selama fase pelatihan. Jumlah parameter yang lebih besar dapat menyimpan lebih banyak pola, namun memerlukan daya komputasi yang lebih tinggi untuk dijalankan. Ukuran parameter saja tidak serta-merta menentukan kualitas; kualitas data pelatihan dan proses penyelarasan juga sangat berpengaruh.

Mengapa hanya beberapa model yang bisa menerima gambar?

Llama 4 Maverick dan Scout dilatih menggunakan teks dan gambar secara bersamaan sejak awal. Sedangkan Llama 3.3 70B dan Llama 3.1 8B merupakan model teks murni, sehingga tidak memiliki kemampuan untuk memproses visual. Panduan kami mengenai memilih model Llama yang tepat membandingkan karakteristik keempat model tersebut.