การตรวจจับอาการหลอนของโมเดลภาษาขนาดใหญ่ด้วยเอนโทรปีเชิงความหมาย

การตรวจจับอาการหลอนด้วยเอนโทรปีเชิงความหมายในโมเดลภาษาขนาดใหญ่

สรุป

• โมเดลภาษาขนาดใหญ่ (LLM): ระบบ LLM อย่าง ChatGPT หรือ Gemini แสดงความสามารถที่โดดเด่นในการให้เหตุผลและตอบคำถาม แต่ก็มักมีปัญหา "อาการหลอน" ที่สร้างผลลัพธ์ผิดพลาดหรือคำตอบที่ไม่มีหลักฐานรองรับ
• ปัญหาอาการหลอน: ก่อให้เกิดปัญหาหลากหลาย เช่น การแต่งเติมบรรทัดฐานทางกฎหมาย ข้อมูลเท็จในบทความข่าว และความเสี่ยงในแวดวงการแพทย์
• ข้อจำกัดของแนวทางเดิม: การชี้นำให้ตอบตามความจริงผ่านการกำกับดูแลหรือการเรียนรู้แบบเสริมแรง ประสบความสำเร็จได้เพียงบางส่วน
• วิธีการใหม่: เสนอเครื่องประมาณค่าความไม่แน่นอนแบบอิงเอนโทรปีบนพื้นฐานสถิติ เพื่อตรวจจับการสร้างคำตอบแบบสุ่มและผิดพลาด (confabulation) โดยคำนวณความไม่แน่นอนในระดับความหมาย ไม่ใช่จากลำดับคำเพียงอย่างเดียว
• ความสามารถในการประยุกต์ใช้: ใช้งานได้โดยไม่ขึ้นกับชุดข้อมูลหรือประเภทงาน ไม่ต้องอาศัยความรู้ล่วงหน้าเกี่ยวกับงาน และยังทั่วไปได้ดีมากกับงานใหม่

เนื้อหาหลัก

ความสำคัญของปัญหาอาการหลอน

• นิยามของอาการหลอน: การที่ LLM สร้างเนื้อหาที่ไม่ซื่อตรงต่อแหล่งข้อมูลที่ให้มา หรือมีเนื้อหาที่ไม่สมเหตุสมผล
• ตัวอย่างของ confabulation: กรณีที่สร้างคำตอบแตกต่างกันแบบสุ่มสำหรับคำถามเดียวกัน
• ปัญหาที่มีอยู่เดิม: เช่น การฝึกด้วยข้อมูลที่ผิดพลาด การโกหกเพื่อไล่ตามรางวัล หรือความล้มเหลวเชิงระบบของการให้เหตุผลและการทำให้ทั่วไป

การตรวจจับ confabulation ด้วยเอนโทรปีเชิงความหมาย

• ภาพรวมของวิธีการ: วัดเชิงปริมาณว่าอินพุตใดมีแนวโน้มสูงที่จะก่อให้เกิดคำตอบแบบสุ่มและไร้หลักฐานรองรับ
• เอนโทรปีเชิงความหมาย: คำนวณเอนโทรปีโดยอิงจากความหมายของประโยคเพื่อประมาณความไม่แน่นอน โดยเอนโทรปีสูงหมายถึงความไม่แน่นอนสูง
• การจัดกลุ่ม (clustering): จัดกลุ่มคำตอบที่มีความหมายใกล้เคียงกันก่อนคำนวณเอนโทรปี

การประเมินและผลลัพธ์

• ชุดข้อมูล: ประเมินบนชุดข้อมูลหลากหลาย เช่น TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP เป็นต้น
• โมเดล: ทดสอบกับหลายโมเดล เช่น LLaMA 2 Chat, Falcon Instruct, Mistral Instruct, GPT-4 เป็นต้น
• ประสิทธิภาพ: เอนโทรปีเชิงความหมายให้ผลลัพธ์ดีกว่าเอนโทรปีแบบง่ายเดิมหรือวิธีการแบบ supervised learning

ประสิทธิภาพโดยรวม

• AUROC: ตัวชี้วัดประสิทธิภาพในการทำนายความผิดพลาดของโมเดล ซึ่งเอนโทรปีเชิงความหมายทำคะแนนได้สูงที่สุด
• AURAC: ตัวชี้วัดความแม่นยำของคำถามที่เหลืออยู่ หลังจากปฏิเสธคำถามที่มีแนวโน้มสูงจะทำให้เกิด confabulation โดยเอนโทรปีเชิงความหมายให้ผลลัพธ์ดีที่สุด

ความเห็นของ GN⁺

1. การใช้งานจริง: เอนโทรปีเชิงความหมายสามารถประยุกต์ใช้ได้กับชุดข้อมูลและงานที่หลากหลาย จึงมีความเป็นประโยชน์สูง โดยเฉพาะอย่างยิ่งยังทั่วไปได้ดีมากกับงานใหม่
2. คุณูปการทางเทคนิค: เป็นแนวทางใหม่ที่ก้าวข้ามข้อจำกัดของการคำนวณเอนโทรปีแบบง่ายเดิม และเสนอวิธีวัดความไม่แน่นอนในระดับความหมาย
3. ความเป็นไปได้ในอนาคต: วิธีนี้อาจนำไปใช้ต่อได้กับงานอย่างการสรุปเชิงนามธรรมหรือการเพิ่มความน่าเชื่อถือของ LLM แบบโต้ตอบ
4. ข้อจำกัด: ไม่ได้แก้ปัญหากรณีที่ระบบเรียนรู้จากข้อมูลที่ผิดพลาดเชิงระบบ หรือมีข้อผิดพลาดด้านการให้เหตุผลอย่างเป็นระบบ ซึ่งยังต้องใช้แนวทางอื่นแยกต่างหาก
5. เทคโนโลยีคู่แข่ง: เมื่อเทียบกับวิธีประมาณค่าความไม่แน่นอนแบบอื่น เอนโทรปีเชิงความหมายให้ประสิทธิภาพดีกว่า แต่ในบางสถานการณ์ วิธีอื่นอาจมีประสิทธิภาพมากกว่า

[GN⁺]

ความคิดเห็นจาก Hacker News

• ปัญหาทางคณิตศาสตร์: แนวทางที่ประเมินการกระจายผลลัพธ์ของ LLM มีปัญหาในเชิงคณิตศาสตร์
• ตัวอย่างความคล้ายคลึง: อธิบายความแตกต่างระหว่างความคล้ายคลึงในปริภูมิเวกเตอร์ของคำกับความถูกต้อง ผ่านตัวอย่างของ Tom Cruise และ Taylor Swift
• ลักษณะของการกระจาย: มีความเห็นว่าหากไม่รู้ลักษณะของการกระจายผลลัพธ์ ก็ไม่สามารถประเมินความถูกต้องได้
• แบบจำลองทางสถิติ: แม้จะมีแบบจำลองทางสถิติสำหรับประเมินความไม่แน่นอนของ ANN แต่ในระดับขนาดของ LLM อาจไม่สมจริง
• ปัญหา hallucination: hallucination ส่วนใหญ่มักดูน่าเชื่อถือและโน้มน้าวใจมาก แต่จริง ๆ แล้วเป็นข้อมูลที่ผิด
• ระบบเชิงตรรกะ: มีความเห็นว่า LLM ควรถูกฝึกให้รวมระบบเชิงตรรกะไว้ด้วย
• กระบวนการฝึก: ควรใช้โมเดลที่มีอยู่สร้างความสัมพันธ์เชิงตรรกะ แล้วนำไปใช้ฝึก LLM ตัวใหม่
• บทบาทของภาษา: มีความเห็นว่าภาษาไม่ใช่พื้นฐานของสติปัญญา และการจำลองที่สอดคล้องกันสำคัญกว่า
• hallucination กับความจริง: มีความเห็นว่า LLM ไม่ได้เกี่ยวข้องกับความจริงหรือความเท็จ
• แก่นแท้ของ hallucination: หากต้องการรู้ว่า LLM กำลัง hallucinate หรือไม่ เราจำเป็นต้องรู้คำตอบที่ถูกต้องอยู่ก่อนแล้ว
• การตลาด AI: อาจจะดีกว่าหากทำการตลาด AI ในฐานะเครื่องมือสร้างข้อความ
• การวิเคราะห์ความไว: วิธีเปลี่ยนอินพุตเพื่อดูว่าความหมายของเอาต์พุตเปลี่ยนไปอย่างไรอาจน่าสนใจ
• กรณี Enron: กล่าวถึงกรณีที่หลังเหตุอื้อฉาวของ Enron มีการพูดว่าสามารถใช้ 'bullshitometer' เพื่อคาดการณ์ได้
• การวัดเชิงปริมาณ: ได้พัฒนาวิธีวัดเชิงปริมาณถึงความเป็นไปได้ที่อินพุตจะสร้างคำตอบแบบสุ่มขึ้นมา
• การลด hallucination: มีความเห็นว่าควรใช้มาตรการหลายระดับเพื่อลด hallucination ให้น้อยที่สุด
• กราฟความรู้: มีความพยายามลด hallucination โดยใช้กราฟความรู้และ FAQ
• LLM สองชั้น: การใช้ LLM ตัวที่สองเพื่อตรวจจับความเท่าเทียมกันทางความหมายอาจก่อให้เกิดความซับซ้อนที่ไม่จำเป็น