- ระหว่างทดลองหาวิธีกระตุ้นให้เกิดอาการหลอนกับ ChatGPT o1 และ Gemini 2.5 ก็มีการเปิดตัว o3 ขึ้นมา
- o3 เป็นโมเดลมัลติโหมดที่ทรงพลัง ต่างจาก o1 ตรงที่มีความสามารถอย่างการค้นหาอินเทอร์เน็ต การรู้จำภาพ และการรันโค้ด อย่างไรก็ตาม พบว่ามันยังตอบเท็จในแบบที่มนุษย์ไม่น่าจะทำ
- สมมติฐานหลัก: LLM ไม่มีอวัยวะรับความรู้สึกเหมือนมนุษย์ ดังนั้นจึงน่าจะอ่อนแอต่อคำถามที่ต้องอาศัยข้อมูลอย่างการมองเห็นหรือการรับรู้ทิศทาง
- คำถามที่ใช้กระตุ้นอาการหลอน
- ให้บรรยายภาพ 'The Potato Eaters' ของ Van Gogh
- แม้จะดีกว่า o1 ที่ผิดตั้งแต่โครงสร้างตัวละคร แต่ก็ยังผิดพลาดในรายละเอียดการบรรยาย
- ให้บอกชื่อโน้ตของทำนองใน Mozart Piano Sonata K545
- แม้จะค้นหารูปต้นฉบับเจอผ่านฟังก์ชันค้นหาอินเทอร์เน็ต ก็ยังตอบไม่ได้อย่างถูกต้อง
- ดูเหมือนว่าโมดูลการมองเห็นจะยังอ่านโน้ตดนตรีไม่ได้
- ผลลัพธ์การนำทางด้วยการเดินเท้า
- แม้ผลการค้นหาจะมีข้อมูลจาก Naver Map รวมอยู่ด้วย ก็ยังตอบผิด
- ปัญหาการสลับแป้นพิมพ์เกาหลี-อังกฤษ (เช่น: cotwlvlxl -> ChatGPT)
- ตอนที่ขนาดอินพุตเล็กจะตอบได้ดี แต่พอขนาดใหญ่ขึ้นก็เริ่มสร้างคำตอบเท็จ
- เหมือนกำลังแก้ปัญหาอยู่แล้วจู่ ๆ ก็พูดว่า "ช่างมันเถอะ ไม่รู้แล้ว" แล้ววิ่งหนีออกไป
- อัลกอริทึมแบบดั้งเดิมไม่มี 'โมเมนต์ช่างมันเถอะ' แบบนี้ มันแค่รันอยู่นาน ๆ แล้ว timeout เท่านั้น
- บทสรุป
- การไม่มีอวัยวะรับความรู้สึกในความหมายที่แท้จริง ยังเป็นจุดอ่อนที่ใช้ได้ผลของ LLM อยู่
- การแก้ปัญหาไม่ได้ไม่ใช่ข้อบกพร่อง ข้อบกพร่องที่แท้จริงคือการแต่งคำตอบเท็จขึ้นมา
- แทนที่ผู้พัฒนาจะเน้นเสริมความสามารถด้านการให้เหตุผลและฟีเจอร์ใหม่ ๆ เพียงอย่างเดียว ก็อยากให้ปลูกฝังเมตาคอกนิชันที่ทำให้มันพูดได้ว่าไม่รู้เมื่อไม่รู้
ยังไม่มีความคิดเห็น