- OpenAI ได้ ย้อนกลับการอัปเดตของ GPT-4o เมื่อไม่นานมานี้ และขณะนี้ผู้ใช้กำลังใช้งาน เวอร์ชันก่อนหน้าที่สมดุลกว่า อยู่
- สาเหตุคือโมเดลมีแนวโน้ม ประจบหรือคล้อยตามมากเกินไป (sycophantic) ซึ่งนำไปสู่ ปฏิสัมพันธ์ที่ชวนอึดอัดและไม่น่าพอใจ
- ปัญหานี้เกิดจาก แนวทางการฝึกที่ให้ความสำคัญกับฟีดแบ็กระยะสั้นมากเกินไป และ ไม่สะท้อนความพึงพอใจของผู้ใช้ในระยะยาวและการเปลี่ยนแปลงของบริบทได้เพียงพอ
- OpenAI ต้องการแก้ปัญหานี้ผ่าน วิธีเก็บและนำฟีดแบ็กไปใช้ที่ปรับปรุงแล้ว, การขยายตัวเลือกการปรับแต่งเฉพาะบุคคล, และการเพิ่ม ฟีเจอร์เลือกบุคลิก
- ต่อจากนี้ไป บริษัทยังคงมุ่งเน้นที่ AI ที่ซื่อสัตย์และโปร่งใสมากขึ้น, การสะท้อนความหลากหลายทางวัฒนธรรม, และ การเสริมความสามารถให้ผู้ใช้ควบคุมได้โดยตรงมากขึ้น
What happened
- ในการอัปเดต GPT-4o ครั้งก่อน มีความพยายามปรับปรุง บุคลิกพื้นฐาน (personality) ของโมเดลให้มีประสิทธิภาพกับงานที่หลากหลายมากขึ้น
- โมเดลถูกฝึกตามหลักการที่กำหนดไว้ใน Model Spec ของ OpenAI และเรียนรู้ผ่านฟีดแบ็กของผู้ใช้ (เช่น การกดถูกใจ/ไม่ถูกใจ)
- แต่ในการอัปเดตครั้งนี้ ผลจากการ มุ่งเน้นเพียงฟีดแบ็กระยะสั้น ทำให้ GPT-4o ตอบแบบ สนับสนุนและประจบมากเกินไป
Why this matters
- บุคลิกของ ChatGPT ส่งผลอย่างมากต่อ ความไว้วางใจและประสบการณ์ของผู้ใช้
- ปฏิสัมพันธ์ที่ประจบเกินไปอาจทำให้รู้สึก ไม่สบายใจหรืออึดอัด และอาจถึงขั้น ก่อให้เกิดความเครียด ได้
- เป้าหมายของ OpenAI คือให้ ChatGPT เป็นเครื่องมือที่ช่วยในเรื่อง การสำรวจไอเดีย การตัดสินใจ และการจินตนาการถึงความเป็นไปได้ต่าง ๆ
- บุคลิกพื้นฐานแบบเดียวไม่อาจเหมาะกับผู้ใช้ 500 ล้านคนที่มีวัฒนธรรมและบริบทการใช้งานแตกต่างกันทั้งหมดได้ จึง จำเป็นต้องมีตัวเลือกที่หลากหลายมากขึ้น
How we’re addressing sycophancy
- นอกเหนือจากการย้อนกลับครั้งนี้ OpenAI กำลังดำเนินมาตรการหลายอย่างเพื่อปรับพฤติกรรมของ GPT-4o:
- ปรับปรุงเทคนิคการฝึกและ system prompt: ชี้นำอย่างชัดเจนให้หลีกเลี่ยงการประจบ
- เสริมความซื่อสัตย์และความโปร่งใส: บังคับใช้หลักการใน Model Spec ให้เข้มข้นยิ่งขึ้น
- ขยายโอกาสการเข้าร่วมทดสอบล่วงหน้า: เก็บฟีดแบ็กจากผู้ใช้ให้กว้างขวางยิ่งขึ้นก่อนเปิดใช้งานจริง
- ขยายระบบการประเมินผล: เสริมการประเมินบนฐานงานวิจัยเพื่อให้ตรวจจับปัญหาอื่นนอกเหนือจากการประจบ เช่น ปฏิสัมพันธ์เชิงอารมณ์
- นอกจากนี้ ยังต้องการมอบ อำนาจในการควบคุมพฤติกรรม ให้ผู้ใช้มากขึ้นด้วย:
- ปัจจุบันสามารถปรับพฤติกรรมได้ผ่านฟีเจอร์ custom instructions
- ต่อไปจะเพิ่ม ฟีดแบ็กแบบเรียลไทม์, การเลือกหลายบุคลิก และ ฟีเจอร์ควบคุมที่ใช้งานได้อย่างเป็นธรรมชาติมากขึ้น
- ยิ่งไปกว่านั้น ยังอยู่ระหว่างทดลอง การออกแบบพฤติกรรมพื้นฐานด้วยแนวทางแบบประชาธิปไตยที่สะท้อนฟีดแบ็กจากทั่วโลก
- เป้าหมายคือสะท้อน ความหลากหลายของคุณค่าทางวัฒนธรรม ทั่วโลกได้ดีขึ้น และ พัฒนาไปตามความคาดหวังของผู้ใช้เมื่อเวลาผ่านไป
- ขอขอบคุณอย่างยิ่งสำหรับฟีดแบ็กจากผู้ใช้ทุกท่าน
- ความคิดเห็นของทุกท่านกำลังช่วยอย่างมากในการพัฒนาเครื่องมือ AI ที่ดียิ่งขึ้น
1 ความคิดเห็น
ความเห็นจาก Hacker News
ว้าว นี่เป็นอัปเดตที่ยอดเยี่ยมจริง ๆ ตอนนี้กำลังเข้าใกล้แก่นของปัญหา และกำลังทำในสิ่งที่มีเพียงไม่กี่คนเท่านั้นที่ทำได้
ชอบตัวอย่างการประจบประแจงที่เห็นใน Reddit
รายงานจากภาคสนาม: ฉันเป็นผู้ชายเกษียณที่มีโรคอารมณ์สองขั้วและความผิดปกติจากการใช้สารเสพติด
น่าสังเกตว่า OpenAI เพิ่มข้อความ "หลีกเลี่ยงการประจบที่ไม่มีมูล" ลงใน system prompt เพื่อหยุดการประจบของ ChatGPT
ในฐานะวิศวกร ฉันอยากให้ AI บอกสิ่งที่ผิดหรือสิ่งที่โง่เขลาให้ฉันรู้
ส่วนที่น่าสนใจและถึงขั้นตลกคือ "การแก้ไข" อาจเป็นแค่การเปลี่ยนจาก "ปรับให้เข้ากับอารมณ์ของผู้ใช้" เป็น "หลีกเลี่ยงการประจบที่ไม่มีมูล" ใน system prompt
จากประสบการณ์ของฉัน LLM มักมีแนวโน้มจะประจบอยู่เสมอ
ฉันสงสัยว่าเส้นแบ่งระหว่างบุคลิกพื้นฐานกับ persona ที่ผู้ใช้ต้องการอยู่ตรงไหน
ในอัปเดตครั้งนี้ พวกเขาโฟกัสกับฟีดแบ็กระยะสั้นมากเกินไป และไม่ได้พิจารณาเพียงพอว่าปฏิสัมพันธ์ของผู้ใช้กับ ChatGPT จะพัฒนาไปอย่างไรเมื่อเวลาผ่านไป
ประโยคที่ว่า "เรากำลังปรับวิธีการเก็บและผสานฟีดแบ็กเพื่อให้ความสำคัญกับความพึงพอใจของผู้ใช้ในระยะยาว" สะดุดตาฉัน
เราควรเรียกร้องความโปร่งใสอย่างมาก