- KoHalluLens เป็นโปรเจกต์ที่ขยาย HalluLens ของ Facebook Research ไปสู่ภาษาเกาหลี และได้ประเมิน hallucination ของ LLM อย่างเป็นระบบโดยอิงจากชุดทดสอบภาษาเกาหลีที่สร้างขึ้นใหม่ทุกครั้ง
- เบนช์มาร์กนี้แบ่ง hallucination ออกเป็น
- “การพูดสิ่งที่ไม่ตรงกับข้อเท็จจริง” (Factuality issue) และ
- “ทำเป็นรู้ทั้งที่ไม่รู้” (Hallucination)
- นำเสนอเกณฑ์การจัดหมวดหมู่ที่ชัดเจนระหว่าง Extrinsic Hallucination (ไม่สอดคล้องกับข้อมูลการฝึก) และ Intrinsic Hallucination (ไม่สอดคล้องกับบริบทอินพุต)
- หากเบนช์มาร์กเดิมมีความเสี่ยงด้าน data leakage อยู่แล้ว extrinsic hallucination ของ HalluLens จะใช้ชุดทดสอบใหม่ในทุกการประเมิน ทำให้สามารถประเมินได้อย่างน่าเชื่อถือยิ่งขึ้น
- KoHalluLens ได้ขยายแนวทางนี้เป็นชุดประเมินภาษาเกาหลี และผ่าน API hosting ทำให้สามารถประเมิน hallucination ของโมเดลตนเองได้โดยตรงโดยไม่ต้องมีทรัพยากรคอมพิวต์แยกต่างหาก
ยังไม่มีความคิดเห็น