OpenAI เปิดเผย Model Spec

OpenAI ได้เปิดเผยเอกสารชื่อ 'Model Spec' เพื่อเพิ่มความเข้าใจของสาธารณชนเกี่ยวกับการที่โมเดล AI แบบสนทนาควรทำงานอย่างไร

• Model Spec คือเอกสารที่ระบุว่า OpenAI ต้องการให้โมเดลทำงานอย่างไรใน OpenAI API และ ChatGPT
• บริษัทเห็นว่าการเปิดให้ผู้คนเข้าใจและถกเถียงเกี่ยวกับตัวเลือกเชิงปฏิบัติที่กำหนดพฤติกรรมของโมเดลเป็นเรื่องสำคัญ
• Model Spec สะท้อนเอกสารเดิมที่ OpenAI ใช้งานอยู่ งานวิจัยและประสบการณ์ด้านการออกแบบพฤติกรรมของโมเดล รวมถึงงานที่กำลังดำเนินอยู่สำหรับการพัฒนาโมเดลในอนาคต
• นี่เป็นส่วนต่อเนื่องของความพยายามอย่างต่อเนื่องของ OpenAI ในการปรับปรุงพฤติกรรมของโมเดลด้วยข้อมูลจากมนุษย์ และช่วยเสริมงานด้าน collective alignment รวมถึงแนวทางความปลอดภัยของโมเดลในระดับระบบที่กว้างขึ้น

การกำหนดพฤติกรรมของโมเดลที่พึงประสงค์ (Shaping Desired Model Behavior)

พฤติกรรมของโมเดล หรือวิธีที่โมเดลตอบสนองต่ออินพุตของผู้ใช้ เช่น น้ำเสียง บุคลิก และความยาวของคำตอบ เป็นสิ่งสำคัญอย่างมากต่อวิธีที่มนุษย์โต้ตอบกับความสามารถของ AI

• การกำหนดพฤติกรรมของโมเดลยังเป็นศาสตร์ที่อยู่ในระยะเริ่มต้น และโมเดลไม่ได้ถูกเขียนโปรแกรมแบบชัดเจน แต่เรียนรู้จากข้อมูลจำนวนมหาศาล
• การกำหนดพฤติกรรมของโมเดลต้องคำนึงถึงคำถาม ประเด็นพิจารณา และความละเอียดอ่อนหลากหลายด้าน และมักต้องประเมินความเห็นที่แตกต่างกัน
• แม้จะตั้งใจให้โมเดลช่วยเหลือและเป็นประโยชน์ต่อผู้ใช้อย่างกว้างขวาง แต่ความตั้งใจเหล่านี้อาจขัดแย้งกันได้ในทางปฏิบัติ
  • ตัวอย่าง: บริษัทด้านความปลอดภัยต้องการสร้างข้อมูลสังเคราะห์เพื่อฝึกตัวจำแนกอีเมลฟิชชิงสำหรับปกป้องลูกค้า แต่หากมิจฉาชีพใช้ความสามารถนี้ก็อาจก่อให้เกิดอันตรายได้

แนะนำ Model Spec

• OpenAI แชร์ร่างเอกสารใหม่ชื่อ 'Model Spec' ที่ระบุวิธีกำหนดพฤติกรรมของโมเดลที่พึงประสงค์ และวิธีประเมินทางเลือกเมื่อเกิดความขัดแย้ง
• Model Spec รวมงานล่าสุดที่ใช้ชี้นำการพัฒนาโมเดลในอนาคต ไม่ว่าจะเป็นเอกสารที่ OpenAI ใช้อยู่ในปัจจุบัน ประสบการณ์และงานวิจัยที่กำลังดำเนินอยู่เกี่ยวกับการออกแบบพฤติกรรมของโมเดล และความเห็นจากผู้เชี่ยวชาญ
• OpenAI คาดว่า Model Spec ยังไม่สมบูรณ์และจะเปลี่ยนแปลงไปตามเวลา

แนวทางของ Model Spec ประกอบด้วย:

1. เป้าหมาย: หลักการกว้าง ๆ และทั่วไปที่ให้ทิศทางสำหรับพฤติกรรมที่พึงประสงค์
   • สนับสนุนนักพัฒนาและผู้ใช้ปลายทาง
   • เป็นประโยชน์ต่อมนุษยชาติ
   • สะท้อน OpenAI ได้อย่างเหมาะสม
2. กฎ: แนวทางที่ช่วยจัดการความซับซ้อนและรับประกันความปลอดภัยกับความถูกต้องตามกฎหมาย
   • ปฏิบัติตามลำดับชั้นของคำสั่ง
   • ปฏิบัติตามกฎหมายและข้อบังคับที่เกี่ยวข้อง
   • ห้ามให้ข้อมูลที่มีความเสี่ยง
   • เคารพผู้สร้างสรรค์และสิทธิ
   • คุ้มครองความเป็นส่วนตัว
   • ห้ามตอบด้วยเนื้อหา NSFW
3. พฤติกรรมเริ่มต้น: แนวทางที่สอดคล้องกับเป้าหมายและกฎ พร้อมวิธีจัดการความขัดแย้ง และสาธิตวิธีจัดลำดับความสำคัญและสร้างสมดุลระหว่างเป้าหมาย
   • ตั้งสมมติฐานว่าผู้ใช้/นักพัฒนามีเจตนาดี
   • ถามให้ชัดเจนเมื่อจำเป็น
   • ช่วยเหลือให้มากที่สุดเท่าที่เหมาะสมโดยไม่เกินขอบเขต
   • รองรับความต้องการที่หลากหลายทั้งการแชตเชิงสนทนาและการใช้งานด้านโปรแกรมมิง
   • ยึดมุมมองแบบเป็นกลาง
   • ส่งเสริมความเป็นธรรมและความมีน้ำใจ พร้อมยับยั้งความเกลียดชัง
   • ไม่พยายามเปลี่ยนความคิดของผู้อื่น
   • แสดงความไม่แน่นอนเมื่อมี
   • ใช้เครื่องมือที่เหมาะสมกับงาน
   • ละเอียดและมีประสิทธิภาพภายใต้ข้อจำกัดด้านความยาว

การนำ Model Spec ไปใช้

• OpenAI วางแผนใช้ Model Spec เป็นแนวทางสำหรับนักวิจัยและ AI trainer ที่ทำ reinforcement learning from human feedback โดยเป็นส่วนต่อเนื่องของงานด้าน collective alignment และความปลอดภัยของโมเดล
• นอกจากนี้ยังจะสำรวจด้วยว่าโมเดลสามารถเรียนรู้จาก Model Spec ได้โดยตรงมากเพียงใด

แผนในอนาคต

• OpenAI มองว่างานนี้เป็นส่วนหนึ่งของการสนทนาสาธารณะอย่างต่อเนื่องเกี่ยวกับพฤติกรรมของโมเดลที่พึงประสงค์ วิธีตัดสินว่าพฤติกรรมแบบใดเหมาะสม และวิธีที่ดีที่สุดในการให้สาธารณชนเข้ามามีส่วนร่วมในการอภิปรายเหล่านี้
• เมื่อการสนทนาดำเนินต่อไป บริษัทจะมองหาโอกาสในการทำงานร่วมกับผู้มีส่วนได้ส่วนเสียที่มีตัวแทนจากทั่วโลก เช่น ผู้กำหนดนโยบาย สถาบันที่เชื่อถือได้ และผู้เชี่ยวชาญเฉพาะด้าน
• โดยมีเป้าหมายเพื่อทำความเข้าใจเรื่องต่อไปนี้:
  1. ผู้มีส่วนได้ส่วนเสียเข้าใจแนวทางของ Model Spec รวมถึงเป้าหมาย กฎ และค่าตั้งต้นแต่ละข้ออย่างไร
  2. ผู้มีส่วนได้ส่วนเสียสนับสนุนแนวทาง รวมถึงเป้าหมาย กฎ และค่าตั้งต้นแต่ละข้อหรือไม่
  3. มีเป้าหมาย กฎ หรือค่าตั้งต้นเพิ่มเติมที่ควรนำมาพิจารณาหรือไม่
• OpenAI คาดหวังว่าจะได้รับฟังความคิดเห็นจากผู้มีส่วนได้ส่วนเสียต่อไปตามความคืบหน้าของงานนี้
• และในช่วง 2 สัปดาห์ข้างหน้า บริษัทสนับสนุนให้สาธารณชนทั่วไปแบ่งปันข้อเสนอแนะเกี่ยวกับเป้าหมาย กฎ และค่าตั้งต้นของ Model Spec
• OpenAI หวังว่าจะได้รับข้อมูลเชิงลึกตั้งแต่ระยะแรก เพื่อช่วยพัฒนากระบวนการที่แข็งแรงในการรวบรวมและบูรณาการข้อเสนอแนะ เพื่อเดินหน้าสู่พันธกิจอย่างมีความรับผิดชอบ
• ในช่วง 1 ปีข้างหน้า OpenAI จะเผยแพร่อัปเดตเกี่ยวกับการเปลี่ยนแปลงของ Model Spec การตอบสนองต่อข้อเสนอแนะ และความคืบหน้าของงานวิจัยด้านการกำหนดพฤติกรรมของโมเดล