- OpenAI เปิดตัว โมเดลภาษาแบบขนาดใหญ่โอเพนซอร์ส (Large Language Model, LLM)
gpt-oss-120b และ gpt-oss-20b ซึ่งแม้จะแสดงผลยอดเยี่ยมในบาง benchmark แต่ยังมีข้อจำกัดในการใช้งานจริง
- โมเดลเหล่านี้มี ความรู้ทั่วไป แต่ถูกประเมินว่าขาดความรู้ในบางโดเมนเช่นวัฒนธรรมสมัยนิยม
- เหมือนกับ Phi ซีรีส์ ของ Microsoft การฝึกด้วยข้อมูลสังเคราะห์ช่วยยกระดับประสิทธิภาพ benchmark แต่มีแนวโน้มลดประสิทธิภาพในการใช้งานจริง
- การใช้ข้อมูลสังเคราะห์ช่วยเพิ่มความปลอดภัย โดยลด ความเสี่ยงการใช้ในทางที่ไม่เหมาะสม ที่อาจเกิดขึ้นเมื่อปล่อยเป็นโอเพนซอร์ส
- ดูเหมือนว่า OpenAI เลือกแนวทางแบบ Phi เพื่อรักษาความปลอดภัย พร้อมทั้งยังคงความเหนือกว่าใน benchmark เมื่อเทียบกับโมเดลโอเพนซอร์สจากจีน
การเปิดตัว LLM โอเพนซอร์สตัวแรกของ OpenAI
- OpenAI ประกาศ
gpt-oss-120b และ gpt-oss-20b ว่าเป็น โมเดลภาษาโอเพนซอร์สตัวแรก และสามารถสนทนาได้โดยตรงผ่านเว็บ
- ทำผลงานได้ดีในบาง benchmark แต่ในบางการทดสอบเช่น SimpleQA ประสิทธิภาพจะลดลง
- มีการประเมินว่ามี ความรู้ทั่วไป ในด้านวิทยาศาสตร์มาก แต่ความรู้ด้านวัฒนธรรมสมัยนิยมยังไม่เพียงพอ
- คาดว่าความสามารถใช้งานได้จริงจะชัดเจนขึ้นประมาณ 6 เดือนข้างหน้า และมีโอกาสสูงที่ผลในสภาพแวดล้อมจริงจะต่ำกว่า benchmark
Phi และการเรียนรู้ด้วยข้อมูลสังเคราะห์
- Phi ซีรีส์ ที่ Sebastien Bubeck ชี้นำในปี 2024 ของ Microsoft เป็นโมเดลที่ฝึกด้วยข้อมูลสังเคราะห์ทั้งหมด
- ข้อมูลสังเคราะห์คือข้อความที่โมเดลภาษาอื่นสร้างขึ้นหรือข้อความจากเอกสารอ้างอิงที่มนุษย์คัดเลือก ซึ่งควบคุมคุณภาพและความเสถียรได้ง่ายแต่มีต้นทุนการผลิตสูง
- วิธีนี้ช่วยยกระดับ benchmark แต่มีแนวโน้มให้ผลลัพธ์ต่ำกว่าคาดในสภาพแวดล้อมจริง
- ข้อมูลสังเคราะห์สร้างได้ง่ายให้ตรงกับประเภทโจทย์ใน benchmark จึงทำให้เกิด การฝึกแบบเตรียมสอบ ได้ แต่ความเป็นสากลจะลดลง
Sebastien Bubeck เข้าร่วม OpenAI และ gpt-oss
- ช่วงปลายปี 2024 Bubeck ออกจาก Microsoft และเข้าร่วม OpenAI
- รายละเอียดข้อมูล pretraining ของโมเดล
gpt-oss ยังไม่ถูกเปิดเผย แต่มีแนวโน้มสูงว่ามีการใช้ข้อมูลที่ผ่านการกรองอย่างเข้มงวดหรือข้อมูลสังเคราะห์
- แนวทางนี้อาจมีลักษณะใกล้เคียงกับ Phi-5 และ Phi-5-mini
ข้อดีด้านความปลอดภัยของข้อมูลสังเคราะห์
- โมเดลโอเพนซอร์สสามารถทำ fine-tuning ได้อย่างไม่จำกัดหลังเปิดซอร์ส จึงอาจเกิดปัญหาด้านความปลอดภัย
- โดยเฉพาะหนึ่งในการใช้งานไม่เป็นทางการที่สำคัญของโมเดลภาษาขนาดเล็กคือการแสดงบทบาทสมมติทางเพศ ทำให้การจัดการความปลอดภัยมีความสำคัญมาก
- หากฝึกด้วยข้อมูลสังเคราะห์หรือข้อมูลเชิงตำรา สามารถหลีกเลี่ยงการรวมเนื้อหาที่มีความเสี่ยงและยกระดับความปลอดภัยได้
- ดูเหมือนว่า OpenAI เลือกกลยุทธ์ที่รักษาความได้เปรียบใน benchmark มากว่าโมเดลโอเพนซอร์สจากจีน โดยยังคงความปลอดภัยไว้
สรุป: โดยสรุปแล้วเป็นตระกูล Phi-5
- โมเดล
gpt-oss คาดว่าออกแบบด้วยแนวคิดความปลอดภัยแบบข้อมูลสังเคราะห์ เป็นการให้ความสำคัญกับ คะแนน benchmark และความปลอดภัยมากกว่าประสิทธิภาพในงานจริง
- ในเชิงโครงสร้างแล้ว โมเดลเหล่านี้มีลักษณะแทบจะเป็นรุ่นเดียวกับ Phi-5 และ Phi-5-mini
ยังไม่มีความคิดเห็น