วิธีรัน Llama บนเครื่องของคุณเอง

ทำไมต้องรัน Llama บนคอมพิวเตอร์ของคุณเอง

Meta เผยแพร่น้ำหนักโมเดล (weights) ของ Llama สู่สาธารณะ คุณจึงสามารถดาวน์โหลดโมเดล Llama มารันบนเครื่องของตัวเองได้โดยตรง แตกต่างจากแชตบอตระบบปิดทั่วไป เมื่อดาวน์โหลดเรียบร้อยแล้ว โมเดลจะทำงานได้แบบออฟไลน์ ข้อความพรอมต์ของคุณจะไม่ถูกส่งออกนอกเครื่อง ทั้งยังไม่มีการจำกัดจำนวนข้อความหรือคิดค่าบริการตามโทเคน แต่สิ่งที่คุณต้องแลกมาคือเรื่องของฮาร์ดแวร์ โมเดลขนาดใหญ่จำเป็นต้องใช้หน่วยความจำสูงมาก และการรันบนแล็ปท็อปย่อมตอบได้ช้ากว่าเซิร์ฟเวอร์บนคลาวด์

คู่มือนี้จะพาคุณไปรู้จักกับ 3 เครื่องมือยอดนิยม ตั้งแต่วิธีที่ง่ายที่สุดไปจนถึงวิธีที่ปรับแต่งได้ละเอียดที่สุด ได้แก่ Ollama, LM Studio และ llama.cpp แต่หากคุณเพียงแค่ต้องการทดลองใช้งาน Llama ระบบแชต Llama ฟรีของเราเปิดให้ใช้งานได้ทันทีโดยไม่ต้องติดตั้งโปรแกรมใดๆ

เลือกโมเดลที่เหมาะกับสเปกเครื่องของคุณ

สิ่งที่สำคัญที่สุดคือการเลือกขนาดโมเดล หลักการประเมินคร่าวๆ คือ คุณต้องมีหน่วยความจำที่ว่างอยู่ (หน่วยความจำการ์ดจอ หรือ unified memory บน Apple silicon) อย่างน้อยเท่ากับขนาดไฟล์ของโมเดล และควรมีพื้นที่เผื่อไว้สำหรับการประมวลผลบทสนทนาเพิ่มเติม หากหน่วยความจำไม่พอ โมเดลอาจโหลดไม่ขึ้น หรือทำงานช้ามากเพราะต้องดึงแรมหลักของระบบมาใช้แทน

ด้านล่างนี้คือขนาดดาวน์โหลดตามเวอร์ชันเริ่มต้นของแต่ละโมเดล Llama บน Ollama ซึ่งเป็นไฟล์ที่ผ่านการบีบอัด (quantized) มาแล้ว ซึ่งเป็นรูปแบบที่ผู้ใช้ส่วนใหญ่นิยมรันบนเครื่องส่วนตัว

หากคุณยังไม่แน่ใจ แนะนำให้เริ่มต้นด้วย Llama 3.1 8B ซึ่งมีขนาดกะทัดรัดพอสำหรับแล็ปท็อปรุ่นใหม่ๆ และมีความสามารถรอบด้านเพียงพอสำหรับการใช้งานจริง ทั้งนี้ ข้อมูลของ Meta สำหรับ Llama 4 Scout ระบุว่าสามารถรันบนการ์ดจอเซิร์ฟเวอร์ H100 เพียงใบเดียวได้เมื่อใช้การบีบอัดแบบ Int4 ซึ่งช่วยให้เห็นภาพความต้องการทรัพยากรของโมเดลตระกูล Llama 4 ได้ชัดเจนยิ่งขึ้น

ทางเลือกที่ 1: Ollama (ง่ายที่สุด)

Ollama คือแอปพลิเคชันที่ช่วยดาวน์โหลดและรันโมเดลได้ด้วยคำสั่งเดียว พร้อมเปิดใช้งานต่อได้ทันทีทุกเมื่อ

1. ดาวน์โหลดและติดตั้ง Ollama จากเว็บไซต์ทางการ
2. เปิดเทอร์มินัลแล้วพิมพ์คำสั่ง ollama run llama3.1 การรันครั้งแรกจะเป็นการดาวน์โหลดโมเดล หลังจากนั้นจะเปิดใช้งานได้ภายในไม่กี่วินาที
3. พิมพ์คำถามของคุณที่หน้าต่างพรอมต์ แล้วกด Enter

คุณสามารถรันโมเดล Llama อื่นๆ ได้ด้วยวิธีเดียวกัน เช่น ollama run llama3.2 หรือ ollama run llama4:scout โดยสามารถตรวจสอบขนาดโมเดลทั้งหมดได้จากหน้าคลังของ Ollama สำหรับ Llama 3.1, Llama 3.2 และ Llama 4 ทั้งนี้ ในหน้า Llama 4 ทาง Ollama ระบุว่า Scout รองรับ context window สูงสุด 10M และ Maverick รองรับ 1M โดยทั้งสองโมเดลสามารถประมวลผลได้ทั้งข้อความและรูปภาพ

นอกจากนี้ Ollama ยังทำหน้าที่เป็นเซิร์ฟเวอร์โลคัลในตัว คุณจึงเขียนสคริปต์มาเชื่อมต่อกับโมเดลได้ทันที ตัวอย่างการส่งคำขอแชต:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

ทางเลือกที่ 2: LM Studio (แอปพลิเคชันเดสก์ท็อป)

LM Studio เป็นแอปพลิเคชันเดสก์ท็อปฟรีที่มีหน้าต่างแชตพร้อมใช้งาน คุณจึงไม่จำเป็นต้องเปิดเทอร์มินัลเลย

1. ดาวน์โหลด LM Studio ให้ตรงกับระบบปฏิบัติการของคุณ แล้วเปิดโปรแกรมขึ้นมา
2. ไปที่แท็บ Discover ค้นหาคำว่า "Llama" แล้วดาวน์โหลดเวอร์ชันที่พอดีกับหน่วยความจำของเครื่อง
3. สลับไปที่แท็บ Chat เลือกโมเดลที่ดาวน์โหลดไว้จากตัวเลือกด้านบน แล้วเริ่มแชตได้ทันที

LM Studio ยังสามารถเปิดเป็นเซิร์ฟเวอร์โลคัลที่รองรับรูปแบบคำขอแบบเดียวกับ OpenAI API ได้ด้วย โดยค่าเริ่มต้นจะอยู่ที่ http://localhost:1234/v1 ทำให้คุณนำเครื่องมือต่างๆ ที่มีอยู่เดิมมาชี้มายังที่อยู่นี้แทนบริการคลาวด์ได้ทันที ดูรายละเอียดเพิ่มเติมได้ที่ คู่มือเริ่มต้นใช้งาน LM Studio และ เอกสารเซิร์ฟเวอร์ที่รองรับ OpenAI

ทางเลือกที่ 3: llama.cpp (ควบคุมและปรับแต่งได้สูงสุด)

llama.cpp คือเอนจินโอเพ่นซอร์สที่เป็นเบื้องหลังของเครื่องมือ AI โลคัลมากมาย การใช้งานเอนจินนี้โดยตรงช่วยให้คุณควบคุมการตั้งค่าประสิทธิภาพต่างๆ ได้ละเอียดที่สุด รองรับไฟล์โมเดลในฟอร์แมต GGUF มีระบบบีบอัดโมเดลตั้งแต่ระดับ 1.5-bit ถึง 8-bit เพื่อลดขนาดไฟล์ และได้รับการปรับแต่งมาเป็นพิเศษสำหรับ Apple silicon

1. ติดตั้งโปรแกรม โดยดูคำสั่งติดตั้งบรรทัดเดียวได้จาก README ของโปรเจกต์ เช่น curl -LsSf https://llama.app/install.sh | sh สำหรับ macOS และ Linux หรือ irm https://llama.app/install.ps1 | iex สำหรับ Windows PowerShell
2. เริ่มแชตในเทอร์มินัลด้วยโมเดล GGUF จาก Hugging Face: llama cli -hf <user>/<repo>
3. หรือเปิดเซิร์ฟเวอร์โลคัลที่รองรับรูปแบบ OpenAI: llama serve -hf <user>/<repo>

เพียงเปลี่ยนข้อความในวงเล็บเป็นชื่อ repository บน Hugging Face ของโมเดล Llama ในเวอร์ชัน GGUF ที่คุณต้องการ อย่าลืมอ่านคำอธิบายใน repository เพื่อดูว่าแต่ละไฟล์ใช้การบีบอัดระดับใด ไฟล์ที่เล็กกว่าจะกินแรมน้อยลง แต่อาจลดทอนคุณภาพการตอบลงไปบ้าง

ทางเลือกที่ 4: น้ำหนักโมเดลต้นฉบับจาก Meta

สำหรับนักพัฒนาที่ต้องการไฟล์น้ำหนักโมเดลแบบความละเอียดเต็ม (full-precision) สามารถดาวน์โหลดได้จากหน้าทางการของ Meta บน Hugging Face เช่น Llama 3.1 8B Instruct หรือ Llama 4 Scout โดยคลังเหล่านี้เป็นแบบจำกัดสิทธิ์ คุณต้องเข้าสู่ระบบและกดยอมรับข้อกำหนดการใช้งานในหน้าโมเดลก่อนจึงจะปลดล็อกไฟล์ได้ ภายในหน้านั้นจะมีโค้ดตัวอย่างสำหรับไลบรารี Transformers ของ Hugging Face ให้ด้วย ไฟล์แบบความละเอียดเต็มนี้ต้องใช้หน่วยความจำสูงกว่าเวอร์ชันบีบอัดข้างต้นอย่างมาก จึงเหมาะสำหรับการนำไปรันบนเซิร์ฟเวอร์หรือการทำ fine-tuning เป็นหลัก

ข้อแนะนำสำหรับการเริ่มต้นใช้งาน

• เริ่มต้นจากโมเดลเล็กก่อน ลองใช้โมเดลขนาด 8B หรือ 3B ดูก่อน แล้วค่อยขยับไปรุ่นใหญ่ขึ้นหากคำตอบยังไม่ตรงใจและฮาร์ดแวร์ของคุณรองรับไหว
• ปิดแอปพลิเคชันที่กินทรัพยากรสูง เบราว์เซอร์ที่เปิดแท็บทิ้งไว้เยอะๆ หรือเกมที่เปิดค้างไว้จะแย่งหน่วยความจำที่คุณต้องใช้รันโมเดล
• ควบคุมความยาวของบริบทให้พอดี บทสนทนาที่ยาวเกินไปจะกินหน่วยความจำมากขึ้นและทำให้ประมวลผลช้าลง แนะนำให้เปิดแชตใหม่เมื่อเปลี่ยนหัวข้อสนทนา
• กำหนด System Prompt การระบุบทบาทและสไตล์คำตอบที่ต้องการจะช่วยเพิ่มประสิทธิภาพให้โมเดลขนาดเล็กได้เป็นอย่างดี ดูแนวทางได้จากคลังพรอมต์ของเรา
• ตรวจสอบข้อกำหนดสิทธิ์การใช้งาน การรันโมเดลเพื่อใช้งานส่วนตัวไม่มีข้อจำกัดใดๆ แต่หากคุณกำลังจะพัฒนาเป็นผลิตภัณฑ์ โปรดอ่านคู่มือสัญญาอนุญาต Llama ของเรา
• ข้อมูลอาจไม่อัปเดตล่าสุด โมเดลที่รันบนเครื่องจะไม่สามารถค้นหาข้อมูลบนเว็บได้ โดยชุดความรู้ของ Llama 3.x จะสิ้นสุดที่เดือนธันวาคม 2023 และ Llama 4 สิ้นสุดที่เดือนสิงหาคม 2024

รันในเครื่องหรือใช้แบบออนไลน์: เลือกแบบไหนดี

เลือกรัน Llama บนเครื่องของคุณเองเมื่อต้องการความเป็นส่วนตัวสูงสุด ต้องใช้งานแบบออฟไลน์ หรือมีการใช้งานเป็นประจำอย่างต่อเนื่อง และคุณมีฮาร์ดแวร์ที่พร้อมรองรับ แต่หากคุณต้องการใช้งานโมเดลขนาดใหญ่อย่าง Llama 4 โดยไม่มีคอมพิวเตอร์สเปกสูง หรือเพียงแค่ต้องการทดลองใช้ Llama ให้เลือกใช้ผ่านเว็บแชตออนไลน์ นอกจากนี้ คุณยังสามารถเรียกใช้ Llama ผ่านโค้ดโดยเชื่อมต่อกับผู้ให้บริการคลาวด์ได้เช่นกัน ซึ่งคุณสามารถดูรายละเอียดได้ในคู่มือ Llama API ของเรา

ทดลองใช้ Llama 4 Maverick บนเว็บได้ทันที

คำถามที่พบบ่อย (FAQ)

ไม่มีการ์ดจอแยก สามารถรัน Llama ได้ไหม?

สามารถรันได้ โมเดลขนาดเล็กอย่าง Llama 3.2 3B และ Llama 3.1 8B สามารถทำงานบนซีพียูทั่วไปได้ แต่อาจตอบช้ากว่าปกติ ส่วนโมเดลขนาดใหญ่จำเป็นต้องใช้การ์ดจอที่ทรงพลังหรือระบบที่มี unified memory สูงเพื่อการใช้งานที่ราบรื่น

การรัน Llama บนเครื่องตัวเองมีค่าใช้จ่ายหรือไม่?

โปรแกรมทั้งหมดที่แนะนำและไฟล์น้ำหนักโมเดลของ Llama สามารถดาวน์โหลดได้ฟรี โดยมีเพียงต้นทุนด้านฮาร์ดแวร์และค่าไฟฟ้าของคุณเท่านั้น

โมเดล Llama ที่รันบนเครื่องสามารถอ่านรูปภาพได้ไหม?

Llama 4 Scout และ Maverick รองรับการประมวลผลรูปภาพ เช่นเดียวกับโมเดลตระกูล Llama 3.2 Vision ส่วนโมเดลข้อความขนาด 1B, 3B และ 8B จะไม่รองรับรูปภาพ

ผู้เริ่มต้นควรเลือกใช้เครื่องมือตัวไหนดี?

แนะนำ LM Studio หากคุณชอบการใช้งานผ่านหน้าต่างโปรแกรมที่คลิกสั่งการได้ง่าย หรือเลือกใช้ Ollama หากคุณสะดวกกับการพิมพ์คำสั่งสั้นๆ ในเทอร์มินัล