วิธีตรวจสอบข้อเท็จจริงคำตอบ AI โดยไม่ต้องตรวจทุกจุด

Llama สามารถเขียนคำตอบได้อย่างลื่นไหลและมั่นใจ ไม่ว่าคำตอบนั้นจะถูกหรือผิด บ่อยครั้งที่ภาพรวมของคำตอบดูเข้าท่าดี แต่จุดผิดพลาดมักซ่อนอยู่ในรายละเอียด เช่น จำปีคลาดเคลื่อนไปหนึ่งปี โควทคำพูดที่ไม่มีใครเคยพูดจริง กฎหมายที่มีการแก้ไขไปแล้ว หรือแม้แต่ชื่อหนังสือที่ไม่มีอยู่จริง คุณไม่จำเป็นต้องนั่งตรวจสอบทุกสิ่งทุกอย่าง แต่คุณต้องมีวิธีที่รวดเร็วเพื่อตัดสินใจว่าจะตรวจอะไรและตรวจอย่างไร นี่คือแนวทางนั้น

รู้ทันจุดที่มักเกิดข้อผิดพลาด

เนื้อหาบางประเภทมีโอกาสผิดพลาดบ่อยกว่าเรื่องอื่น ให้ถือว่าข้อมูลเหล่านี้ต้อง "ตรวจก่อนนำไปใช้":

• ตัวเลขที่เจาะจง: สถิติ ราคา การวัดค่า เปอร์เซ็นต์
• วันที่และลำดับเหตุการณ์
• คำพูดอ้างอิง (Quotes) ของบุคคลจริง
• การอ้างอิงเอกสาร: หนังสือ บทความวิจัย หมายเลขหน้า ลิงก์ โมเดลมักจะกุข้อมูลอ้างอิงขึ้นมาเองซึ่งดูแนบเนียนสมจริงมาก
• เรื่องราวล่าสุด: ตามข้อมูล Model Card ของ Meta ข้อมูลการฝึกของ Llama 4 สิ้นสุดลงในเดือนสิงหาคม 2024 และ Llama 3.x ในเดือนธันวาคม 2023 แชตของเราไม่สามารถท่องเว็บได้ ดังนั้นเหตุการณ์ ราคา กฎหมาย และเวอร์ชันซอฟต์แวร์ที่ใหม่กว่านั้นจึงอยู่นอกเหนือสิ่งที่โมเดลรู้
• ข้อเท็จจริงเฉพาะกลุ่ม (Niche facts): เมืองเล็กๆ บุคคลที่ไม่ค่อยมีชื่อเสียง กฎระเบียบท้องถิ่น
• ข้อมูลเฉพาะทางด้านสุขภาพ กฎหมาย และการเงิน ซึ่งความผิดพลาดอาจสร้างความเสียหายได้มากที่สุด

คำอธิบายภาพรวมของหัวข้อที่มีเอกสารบันทึกไว้อย่างแพร่หลาย เช่น กระบวนการสังเคราะห์ด้วยแสง หรือการจำนองคืออะไร โดยทั่วไปแล้วจะมีความน่าเชื่อถือมากกว่า แต่ก็ยังไม่อาจการันตีความถูกต้องได้ 100%

ขั้นตอนการตรวจสอบ 5 สเต็ป

1. ประเมินความสำคัญของผลลัพธ์: กลอนวันเกิดไม่จำเป็นต้องตรวจสอบ แต่ตัวเลขในรายงานทางการ คำถามเกี่ยวกับยา หรือกำหนดเวลาตามกฎหมาย จำเป็นต้องตรวจ ให้ลงแรงตรวจสอบตามระดับความสำคัญ
2. ดึงประเด็นข้อเท็จจริงออกมา: ขอให้ Llama ลิสต์ประเด็นข้อเท็จจริงออกมาให้ (ดูพรอมต์ด้านล่าง) การตรวจข้อมูลทีละข้อเป็นรายการนั้นง่ายกว่าการอ่านย่อหน้ายาวๆ มาก
3. ตรวจสอบแต่ละข้อกับแหล่งข้อมูลปฐมภูมิ: เว็บไซต์ทางการ งานวิจัยต้นฉบับ ตัวบทกฎหมาย หรือคู่มือของบริษัทนั้นๆ โปรดจำไว้ว่าคำตอบจาก AI อีกตัวหนึ่งไม่ใช่แหล่งอ้างอิง
4. ตรวจสอบวันที่: แหล่งข้อมูลของคุณเป็นปัจจุบันหรือไม่? มีอะไรเปลี่ยนแปลงหลังจากวันสิ้นสุดการเทรนของโมเดลหรือเปล่า?
5. แก้ไขหรือตัดออก: แก้ไขจุดที่ผิด หากคุณไม่สามารถยืนยันข้อเท็จจริงนั้นได้ ให้ตัดทิ้งหรือระบุไว้ชัดเจนว่าเป็นข้อมูลที่ยังไม่ได้รับการยืนยัน

ช่วยย้อนกลับไปดูคำตอบล่าสุดของคุณ แล้วดึงข้อความที่เป็นข้อเท็จจริงทั้งหมดออกมา
(ชื่อ วันที่ ตัวเลข คำพูดอ้างอิง กฎระเบียบ) นำมาใส่ในตาราง 3 คอลัมน์ ได้แก่:
ข้อความข้อเท็จจริง, ระดับความมั่นใจของคุณ (มั่นใจ / ค่อนข้างมั่นใจ / คาดเดา),
และแหล่งข้อมูลที่ฉันสามารถไปค้นหาตรวจสอบได้ ห้ามเพิ่มข้อมูลใหม่เข้าไป

ระดับความมั่นใจที่โมเดลระบุเองเป็นเพียงแค่แนวทางคร่าวๆ เท่านั้น เพราะโมเดลสามารถตอบผิดได้แม้จะมั่นใจเต็มที่ แต่ก็ช่วยให้คุณรู้ว่าจะเริ่มตรวจจากตรงไหน เปิดพรอมต์ตารางข้อเท็จจริงในแชต หลังได้คำตอบที่คุณต้องการนำไปตรวจสอบ

ถามคำถามในแบบที่ช่วยให้ตรวจง่ายขึ้น

ไม่แนะนำ:
กฎระเบียบสำหรับการปล่อยเช่าคอนโดระยะสั้นมีอะไรบ้าง?

แนะนำ:
ช่วยสรุปภาพรวมกฎระเบียบทั่วไปที่มักใช้กับการปล่อยเช่าระยะสั้น
(การจดทะเบียน ภาษี กฎของอาคาร ประกันภัย)
ไม่ต้องระบุกฎหมายเฉพาะหรือจำนวนเงินของเมืองที่ฉันอยู่ แต่ช่วยบอกว่า
ฉันควรตรวจสอบกับหน่วยงานทางการหรือเอกสารใดบ้าง และควรถามคำถามอะไรกับพวกเขา
ฉันอาศัยอยู่ที่ [ประเทศ / เมือง]

คำถามเวอร์ชันที่แนะนำจะดึงจุดเด่นของ Llama ออกมาใช้ได้อย่างมีประสิทธิภาพ (การจัดโครงสร้าง การอธิบาย เช็กลิสต์) พร้อมชี้ทางให้คุณไปหาแหล่งข้อมูลที่เชื่อถือได้สำหรับรายละเอียดที่แตกต่างกันไปในแต่ละพื้นที่และแต่ละปี

เทคนิคอื่นๆ ที่ช่วยได้:

• ป้อนแหล่งข้อมูลให้โมเดล: แปะเนื้อหาบทความ สัญญา หรือเอกสาร แล้วระบุว่า "ตอบโดยใช้ข้อมูลจากข้อความนี้เท่านั้น พร้อมยกคำพูดประโยคที่คุณใช้อ้างอิงมาด้วย" จากนั้นตรวจเทียบประโยคที่ยกมากับต้นฉบับ
• เปิดโอกาสให้โมเดลยอมรับว่าไม่รู้: กำกับว่า "หากไม่รู้ ให้บอกตรงๆ ว่าไม่รู้" จะช่วยให้โมเดลยอมรับว่า "ไม่แน่ใจ" ได้จริงใจมากขึ้น
• แยกข้อเท็จจริงออกจากความคิดเห็น: "ระบุให้ชัดเจนว่าส่วนใดเป็นข้อเท็จจริงที่ยืนยันแล้ว และส่วนใดเป็นการตีความ"

การตรวจสอบการอ้างอิงและคำพูด

เมื่อคำตอบมีการอ้างถึงชื่อหนังสือ รายงานวิจัย หรือบทความ ให้ค้นหาด้วยชื่อเรื่องที่แน่นอนในระบบสืบค้นห้องสมุด เครื่องมือค้นหางานวิชาการ หรือบนเว็บไซต์ของสำนักพิมพ์ หากค้นหาไม่พบ ให้สันนิษฐานไว้ก่อนว่าไม่มีอยู่จริง หากมีอยู่จริง ให้เปิดเข้าไปดูเพื่อยืนยันว่าเนื้อหาตรงตามที่คำตอบอ้างไว้หรือไม่ เพราะงานวิจัยที่มีอยู่จริงอาจถูกโมเดลนำไปอธิบายผิดๆ ได้ สำหรับคำพูดอ้างอิง ให้ค้นหาคำพูด สัมภาษณ์ หรือข้อความต้นฉบับ เพราะเว็บรวบรวมคำคมต่างๆ บนอินเทอร์เน็ตมักระบุชื่อคนพูดผิดๆ อยู่บ่อยครั้ง

สำหรับงานเรียนหรือสิ่งที่คุณจะนำไปเผยแพร่ อย่าอ้างอิงแหล่งข้อมูลที่คุณไม่ได้เปิดอ่านด้วยตัวเองเด็ดขาด

วิธีที่ดีกว่าในการใช้ Llama ร่วมกับแหล่งข้อมูลคือการทำย้อนทาง: ค้นหาแหล่งข้อมูลด้วยตัวเอง แปะข้อความที่เกี่ยวข้องลงไป แล้วขอให้ Llama เปรียบเทียบ อธิบาย หรือสรุปประเด็นเหล่านั้น

ด้านล่างนี้เป็นข้อความ 2 ส่วนจากรายงานคนละฉบับในหัวข้อเดียวกัน เนื้อหาส่วนใดที่เห็นตรงกัน ส่วนใดที่เห็นต่างกัน และมีข้อความใดบ้างที่เป็นข้ออ้างที่ฉันควรตรวจสอบเพิ่มเติม? ให้ยกประโยคเป๊ะๆ มาอ้างอิง ข้อความ A: [วางข้อความ] ข้อความ B: [วางข้อความ]

เนื่องจากทุกข้อความในคำตอบสามารถตรวจสอบย้อนกลับไปยังข้อความที่คุณป้อนให้ได้ การตรวจสอบจึงใช้เวลาเพียงไม่กี่นาที แทนที่จะเสียเวลาไปทั้งบ่าย

การตรวจสอบข้อมูลที่ Llama อ่านจากรูปภาพ

Llama 4 Maverick และ Llama 4 Scout สามารถอ่านภาพถ่ายและภาพหน้าจอได้ แต่ตัวหนังสือขนาดเล็ก ลายมือ แสงที่ไม่เพียงพอ หรือแผนภูมิที่ซับซ้อน อาจทำให้เกิดการอ่านผิดพลาดได้ เมื่อโมเดลถอดตัวเลขหรือข้อความออกมาจากภาพ ให้กวาดสายตาตรวจเทียบค่าบางส่วนกับภาพต้นฉบับด้วยตัวเอง และสามารถสั่งโมเดลว่า "ทำเครื่องหมาย (?) กำกับสิ่งที่คุณไม่แน่ใจ" เพื่อให้เห็นจุดที่น่าสงสัยได้ชัดเจนยิ่งขึ้น

สัญญาณเตือนในคำตอบ

• ตัวเลขที่ดูเจาะจงมากแต่ไม่มีการระบุแหล่งที่มา
• คำพูดอ้างอิงที่ฟังดูสละสลวยเกินจริงเมื่อเทียบกับบุคคลที่ถูกอ้างถึง
• การระบุเลขมาตรา กฎหมาย กำหนดเวลา หรือจำนวนเงินที่แน่นอนจากกฎหมายในประเทศของคุณ
• การอ้างอิงเอกสารที่ดูสมบูรณ์แบบแต่ค้นหาที่ไหนก็ไม่พบ
• การอ้างถึงข้อมูล เวอร์ชัน ราคา หรือเหตุการณ์ "ล่าสุด" คำว่า "ล่าสุด" ของโมเดลจะหยุดอยู่ที่วันสิ้นสุดการเทรนเท่านั้น
• ข้อเท็จจริงที่เปลี่ยนไปเมื่อคุณกดสร้างคำตอบใหม่ (Regenerate) สำหรับคำถามสำคัญ ให้ลองกดสร้างใหม่สักครั้งหรือสองครั้ง หากรายละเอียดเปลี่ยนไปจากเดิม ให้ถือว่าข้อมูลทั้งหมดนั้นยังไม่ได้รับการยืนยัน

แหล่งข้อมูลสำหรับตรวจสอบ

เครื่องมือสรุปข้อความช่วยให้คุณอ่านแหล่งข้อมูลยาวๆ ได้เร็วขึ้น โดยสรุปเอกสารทางการก่อน แล้วค่อยเจาะอ่านส่วนสำคัญจากต้นฉบับ หากต้องการเข้าใจสาเหตุว่าทำไมข้อผิดพลาดจึงเกิดขึ้น สามารถอ่านเพิ่มเติมได้ที่การทำงานของโมเดลภาษาขนาดใหญ่ และสำหรับแนวทางปฏิบัติที่ปลอดภัยเกี่ยวกับหัวข้อที่ละเอียดอ่อน โปรดดูที่ความเป็นส่วนตัวและความปลอดภัยของ AI

คำถามที่พบบ่อย (FAQ)

Llama ตอบผิดบ่อยแค่ไหน?

ไม่มีตัวเลขระบุชัดเจน ขึ้นอยู่กับหัวข้อ โมเดลที่เลือก การจัดรูปประโยคคำถาม และการที่คุณป้อนแหล่งข้อมูลให้ด้วยหรือไม่ ให้สันนิษฐานไว้เสมอว่าข้อเท็จจริงที่เจาะจงอาจผิดพลาดได้ จนกว่าคุณจะได้ตรวจสอบแล้ว

โมเดลที่ใหญ่กว่าแม่นยำกว่าหรือไม่?

โมเดลมักจะรู้ข้อเท็จจริงมากกว่าตามขนาดของโมเดล แต่ทุกโมเดลล้วนมีโอกาสทำผิดพลาดได้ และไม่มีโมเดลใดรู้เหตุการณ์หลังวันสิ้นสุดการเทรน การตรวจสอบจึงสำคัญสำหรับทั้งสี่โมเดลในแชตของเรา การเปรียบเทียบคำตอบระหว่าง Llama 4 Maverick และ Llama 3.3 70B ช่วยชี้จุดที่คุณควรตรวจได้ แต่การที่สองโมเดลตอบตรงกันไม่ได้เป็นเครื่องพิสูจน์ว่าข้อมูลนั้นถูกต้อง

Llama ตรวจสอบเว็บไซต์ให้ฉันได้ไหม?

ไม่ได้ เนื่องจากโมเดลไม่สามารถเปิดลิงก์ได้ ให้คัดลอกข้อความที่เกี่ยวข้องมาวางในแชตแล้วถามคำถามจากเนื้อหานั้นแทน

จำเป็นต้องตรวจคำตอบที่เกี่ยวกับรูปภาพด้วยไหม?

จำเป็น เมื่อ Llama 4 บรรยายภาพหรืออ่านข้อความจากภาพหน้าจอ โมเดลอาจอ่านรายละเอียดเล็กๆ ผิด หรือคาดเดาส่วนที่เบลอ ให้ตรวจเทียบค่าสำคัญกับภาพจริงด้วยตัวเองก่อนนำไปใช้งาน

ทำไมโมเดลถึงขอโทษแล้วเปลี่ยนคำตอบที่ถูกต้องอยู่แล้ว?

โมเดลแชตถูกปรับแต่งมาให้คล้อยตามผู้ใช้ การทักท้วงอาจทำให้โมเดลยอมถอยแม้คำตอบเดิมจะถูกอยู่แล้วก็ตาม ด้วยเหตุนี้ แหล่งข้อมูลภายนอกจึงเป็นเครื่องมือพิสูจน์ที่แท้จริง ไม่ใช่การถามซ้ำเพื่อเอาความเห็นที่สองจากตัวโมเดลเอง