"AI ไม่รู้ว่าตัวเองผิด" — มีการเผยแพร่เบนช์มาร์กที่วัดเมตาคอกนิชันของโมเดล SOTA 9 ตัวแล้ว

แพทย์ที่เก่งที่สุดจะสงสัยการวินิจฉัยผิดของตัวเองก่อน และนักวิทยาศาสตร์ที่เก่งที่สุดจะมองหาจุดอ่อนในสมมติฐานของตัวเองก่อน เราเรียกสิ่งนี้ในมนุษย์ว่าเมตาคอกนิชัน แต่ AI ที่ผู้คนนับร้อยล้านใช้งานทุกวันอยู่ตอนนี้ — เวลามันตอบผิด มันรู้ตัวไหม?

เบนช์มาร์กเดิม ๆ (MMLU, HumanEval, GPQA เป็นต้น) วัดแค่ว่า "ตอบถูกแค่ไหน" ทั้งหมด ยังไม่เคยมีเบนช์มาร์กที่วัดว่า "มันรู้หรือไม่ว่าตัวเองผิด และแก้ไขได้หรือเปล่า" แต่ครั้งนี้มีการเปิดเผยชุดข้อมูลเบนช์มาร์กเมตาคอกนิชันของ AI ชุดแรกของโลกพร้อมลีดเดอร์บอร์ดบน Hugging Face โดยอิงจากงานวิจัย "FINAL Bench: Measuring Functional Metacognitive Reasoning in Large Language Models" (2026)

วัดอย่างไร
มีการทดสอบโมเดล SOTA ที่มีอยู่ในปัจจุบัน 9 ตัว เช่น GPT-5.2, Claude Opus 4.6, Gemini 3 Pro, Kimi K2.5, DeepSeek-V3.2 กับโจทย์ระดับผู้เชี่ยวชาญ 100 ข้อจาก 15 สาขาวิชา ทุกโจทย์ซ่อนกับดักทางการรู้คิดที่ออกแบบมาให้โมเดลพลาดไว้ สำหรับแต่ละโมเดลมีการประเมินภายใต้ 2 เงื่อนไข — ให้ตอบตามปกติ (Baseline) และสั่งว่า "ลองหาข้อผิดพลาดในคำตอบของคุณแล้วแก้ด้วยตัวเอง" (MetaCog) ใช้วิธีให้ GPT-5.2, Claude Opus 4.6 และ Gemini 3 Pro ตัดสินไขว้กัน และมีการเปิดเผยข้อมูลการประเมินรวม 1,800 รายการ

ค้นพบอะไรบ้าง ผลลัพธ์ค่อนข้างน่าสนใจ

ข้อแรก โมเดลทั้ง 9 ตัวพูดได้ดีมากว่า "คำตอบของฉันอาจมีความไม่แน่นอน" ได้คะแนนเฉลี่ย 0.694 แต่ความสามารถในการหาความผิดพลาดของตัวเองแล้วแก้จริง ๆ อยู่ที่ 0.302 ช่องว่างระหว่างคำพูดกับการกระทำคือ 0.392 ในงานวิจัยเรียกรูปแบบนี้ว่า "Humble Deceiver" และโมเดลทั้ง 9 ตัวเข้าข่ายโปรไฟล์นี้ทั้งหมด

ข้อสอง เมื่อครอบด้วยโครงสร้างเมตาคอกนิชันแบบ "ลองหาความผิดพลาดของตัวเองแล้วแก้ดู" ประสิทธิภาพในโจทย์ระดับยากที่สุดเพิ่มขึ้นได้สูงสุดเกิน 70% โดย 94.8% ของการเพิ่มขึ้นของประสิทธิภาพทั้งหมดมาจากแกนเดียวคือความสามารถในการแก้ไขตัวเอง แม้จะใส่ความรู้เพิ่ม ขยายโมเดล หรือเสริมการให้เหตุผล ผลที่ได้ก็มีน้อยมาก — หมายความว่าเมตาคอกนิชันเพียงอย่างเดียวแทบเป็นทุกอย่าง

ข้อสาม ในโจทย์ง่าย ๆ แทบไม่เห็นความต่าง แต่ยิ่งโจทย์ยาก ผลของเมตาคอกนิชันยิ่งเพิ่มขึ้นอย่างชัดเจน (r = -0.777) Claude Opus 4.6 ซึ่งอยู่ท้ายสุดใน Baseline กระโดดขึ้นมา +20 คะแนนหลังใช้ MetaCog และขึ้นไปอยู่ที่อันดับ 5 กล่าวได้ว่าในโจทย์ที่ยากจริง เมตาคอกนิชันคือสิ่งที่ตัดสินแพ้ชนะ

ทำไมน่าจับตา
ทุกวันนี้ AI ถูกใช้ให้คำแนะนำทางการแพทย์ เขียนเอกสารกฎหมาย และทำรายงานการลงทุนอยู่แล้ว เมื่อ AI บอกว่า "ไม่แน่ใจ" ผู้ใช้มักถือว่านั่นเป็นหลักฐานของความน่าเชื่อถือ แต่จากข้อมูลจริง ความผิดพลาดยังคงอยู่เหมือนเดิมหลังถ้อยคำถ่อมตนนั้น เบนช์มาร์กนี้แสดงด้วยข้อมูลว่า สิ่งที่ AI ต้องการไม่ใช่ความรู้ที่มากขึ้น แต่คือ "พลังในการยอมรับความไม่รู้ของตัวเองและปรับทิศทาง"

ทั้งชุดข้อมูล (100 โจทย์) และลีดเดอร์บอร์ดแบบอินเทอร์แอ็กทีฟถูกเปิดเผยทั้งหมดแล้ว จึงสามารถเข้าไปตรวจสอบได้โดยตรง

🏆 ลีดเดอร์บอร์ด: https://huggingface.co/spaces/FINAL-Bench/Leaderboard
📊 ชุดข้อมูล: https://huggingface.co/datasets/FINAL-Bench/Metacognitive
📝 บทความ: https://huggingface.co/blog/FINAL-Bench/metacognitive

[kimjuik]

... จู่ ๆ ก็นึกถึงการงมอยู่ตั้ง 4 ชั่วโมงเมื่อวานขึ้นมาเลย... ฮือ... ที่จริงมันแค่จำเส้นทางการเข้าถึงไฟล์แรกผิดเลยตรวจไม่เจอเอง.. แต่หลังจากจังหวะนั้นก็ไปมั่นใจว่าเพราะตัวเองทำงานอยู่ในแซนด์บ็อกซ์ เลยต้องอ้อมด้วยวิธีนั้นวิธีนี้เพื่อเข้าถึงไฟล์แบบมั่ว ๆ ... ฮือ