สรุปหนังสือแบบเรียกซ้ำพร้อมฟีดแบ็กจากมนุษย์

• บทความวิจัยฉบับใหม่ที่ OpenAI เพิ่งเผยแพร่

• เพื่อให้นำโมเดล AI ไปใช้งานได้ จำเป็นต้องตรวจสอบว่าโมเดลแมชชีนเลิร์นนิงทำงานตามเจตนาของมนุษย์หรือไม่

→ ปัญหา Alignment

• การแก้ปัญหา Alignment เป็นเรื่องที่มนุษย์ประเมินได้ยากและใช้เวลามาก

• เพื่อทดสอบเทคนิค Scalable Alignment จึงได้ฝึกโมเดลสำหรับสรุปหนังสือทั้งเล่ม

→ สรุปหนังสือเป็นรายส่วนก่อน แล้วนำบทสรุปนั้นไปสรุปซ้ำในระดับที่สูงขึ้นต่อไป จนได้บทสรุปสุดท้าย

→ สรุป "Alice in Wonderland" ที่มีความยาว 26,449 คำ ให้เหลือ 136 คำ

→ เป็นการ fine-tune จาก GPT-3 และสามารถสร้างบทสรุปที่ยอดเยี่ยมซึ่งมีคุณภาพใกล้เคียงกับค่าเฉลี่ยของบทสรุปที่มนุษย์เขียน