- "Less Is More for Alignment"
- โมเดล LLaMA ที่ผ่านการฟाइनจูนด้วยพรอมป์ต์ที่คัดสรรมาอย่างดีเพียง 1,000 รายการ โดยไม่ใช้การเรียนรู้แบบเสริมกำลังหรือการสร้างแบบจำลองความชอบ
- ใน 43% ของกรณี ได้รับความนิยมเทียบเท่าหรือมากกว่า GPT-4, เมื่อเทียบกับ Bard อยู่ที่ 58%, และสูงกว่า DaVinci003 ที่ฝึกด้วย human feedback อยู่ 65%
- สมมติฐานของงานวิจัยคือ ความรู้แทบทั้งหมดของ LLM ถูกเรียนรู้ในช่วง pretraining และ alignment เป็นกระบวนการง่าย ๆ ในการเรียนรู้รูปแบบ/สไตล์สำหรับการโต้ตอบกับผู้ใช้
- งานวิจัยฉบับใหม่จาก Meta AI
4 ความคิดเห็น
ควรสานต่อโครงการ Sejong และสะสมข้อมูลโมเดลภาษาภาษาเกาหลีแบบโอเพนซอร์สต่อไปจริง ๆ น่าเสียดายมากที่เป็นโครงการแบบนี้...
แม้ประสิทธิภาพภาษาอังกฤษจะพัฒนาเร็วขนาดนี้ แต่ก็น่าเสียดายที่โมเดลส่วนใหญ่ที่ไม่ใช่ GPT ยังใช้ภาษาเกาหลีได้ไม่ค่อยดี...
การฝึกภาษาเกาหลีของ Claude ของ Anthropic อยู่ในระดับที่ค่อนข้างดี แต่ความสามารถในการใช้ภาษายังแตกต่างจาก ChatGPT อยู่บ้าง
T_T ใช่เลย ภาษาเกาหลีนี่นอกจาก GPT API แล้ว ที่เหลือคุณภาพระดับขยะทั้งหมด...