ผลกระทบเชิงลบของ Chain-of-Thought ในงานที่การคิดทำให้ประสิทธิภาพของมนุษย์ลดลง

Chain-of-Thought และการลดลงของประสิทธิภาพ

• ภาพรวมของ Chain-of-Thought (CoT)

  • CoT เป็นกลยุทธ์ที่ใช้กันอย่างแพร่หลายในโมเดลภาษาขนาดใหญ่และโมเดลมัลติโหมด
  • เป็นที่ทราบกันว่าสามารถช่วยเพิ่มประสิทธิภาพในหลายงาน แต่การระบุว่าได้ผลในเงื่อนไขแบบใดยังคงเป็นโจทย์ที่อยู่ระหว่างการศึกษา

• วัตถุประสงค์ของงานวิจัย

  • ต้องการระบุลักษณะของงานที่ CoT อาจทำให้ประสิทธิภาพของโมเดลลดลง
  • โดยได้แรงบันดาลใจจากจิตวิทยาการรู้คิด ผู้วิจัยพิจารณาว่า (i) ในกรณีที่การคิดหรือการไตร่ตรองด้วยภาษาทำให้ประสิทธิภาพของมนุษย์แย่ลง และ (ii) ข้อจำกัดที่ครอบงำประสิทธิภาพของมนุษย์สามารถทำให้เป็นข้อสรุปทั่วไปกับโมเดลภาษาได้

• กรณีศึกษาหลักของงานวิจัย

  • ทดลองกับสามกรณี ได้แก่ การเรียนรู้เชิงสถิติโดยปริยาย การรับรู้ทางสายตา และการจำแนกรูปแบบที่มีข้อยกเว้น
  • พบว่าในโมเดลสมัยใหม่หลายตัว ประสิทธิภาพลดลงอย่างมากเมื่อใช้การคิดระหว่างการอนุมาน (เช่น OpenAI o1-preview มีความแม่นยำสัมบูรณ์ลดลงสูงสุด 36.3% เมื่อเทียบกับ GPT-4o)

• ข้อค้นพบเพิ่มเติม

  • ระบุงานอีกสามประเภทที่เข้าเงื่อนไข (i) แต่ไม่เข้าเงื่อนไข (ii)
  • ในงานเหล่านี้ แม้ว่าการคิดด้วยภาษาจะทำให้ประสิทธิภาพของมนุษย์ลดลง แต่ CoT กลับสามารถรักษาหรือเพิ่มประสิทธิภาพของโมเดลได้

• บทสรุป

  • แม้จะไม่มีเส้นขนานที่ตรงกันอย่างแม่นยำระหว่างกระบวนการรับรู้ของโมเดลกับของมนุษย์ แต่การพิจารณากรณีที่การคิดส่งผลลบต่อประสิทธิภาพของมนุษย์ก็ช่วยระบุการตั้งค่าที่อาจส่งผลลบต่อโมเดลได้
  • งานนี้เชื่อมโยงวรรณกรรมว่าด้วยการไตร่ตรองของมนุษย์เข้ากับการประเมิน CoT เพื่อมอบเครื่องมือใหม่สำหรับทำความเข้าใจการเลือกพรอมป์ต์และผลของการคิดระหว่างการอนุมาน

สรุปโดย GN⁺

• งานวิจัยนี้แสดงให้เห็นว่า CoT ไม่ได้ช่วยเพิ่มประสิทธิภาพของโมเดลในทุกสถานการณ์
• เสนอความเป็นไปได้ในการคาดการณ์การลดลงของประสิทธิภาพของโมเดลผ่านกรณีที่การคิดของมนุษย์ส่งผลลบต่อประสิทธิภาพ
• การใช้มุมมองจากจิตวิทยาการรู้คิดเพื่อทำความเข้าใจผลของ CoT เป็นประเด็นที่น่าสนใจ
• โปรเจ็กต์ที่มีฟังก์ชันคล้ายกันที่แนะนำ ได้แก่ โมเดลภาษาหลากหลายรุ่นของ OpenAI