- บทความนี้พูดถึงรูปแบบการเรียนรู้ที่ผิดปกติซึ่งสังเกตได้ระหว่างกระบวนการ fine-tuning ของ Large Language Models (LLMs) โดยโมเดลเหล่านี้ดูเหมือนจะเรียนรู้จากตัวอย่างเพียงตัวอย่างเดียวได้อย่างมีประสิทธิภาพ
- ผลการสังเกตนี้ขัดกับความเข้าใจทั่วไปเกี่ยวกับประสิทธิภาพการใช้ตัวอย่างของโครงข่ายประสาทเทียม ซึ่งโดยปกติหมายความว่าต้องใช้หลายตัวอย่างเพื่อให้เรียนรู้ได้อย่างมีประสิทธิภาพ
- ผู้เขียนได้ทำการทดลองหลายชุดเพื่อตรวจสอบปรากฏการณ์นี้ และผลลัพธ์สนับสนุนสมมติฐานที่ว่า LLMs สามารถจดจำอินพุตได้อย่างรวดเร็ว
- กระบวนการเรียนรู้ของโครงข่ายประสาทเทียมประกอบด้วยการแสดงตัวอย่างของอินพุตและเอาต์พุต และฝึกให้โมเดลทำนายเอาต์พุตจากอินพุต กระบวนการนี้จะถูกทำซ้ำหลายครั้ง (epoch) เพื่อให้โมเดลเรียนรู้ได้อย่างมีประสิทธิภาพ
- ผู้เขียนสังเกตเห็นว่าค่า loss ลดลงอย่างรวดเร็วในตอนท้ายของแต่ละ epoch ระหว่างการฝึกโมเดลสำหรับการแข่งขันบน Kaggle ซึ่งถือว่าผิดปกติและในตอนแรกสงสัยว่าเป็นบั๊ก
- ผู้เขียนและนักพัฒนาคนอื่น ๆ ในชุมชนพบรูปแบบคล้ายกันแม้จะใช้ training loop และวิธีการที่ต่างกัน ซึ่งบ่งชี้ว่านี่ไม่ใช่บั๊ก แต่เป็นลักษณะเฉพาะของการ fine-tuning LLM
- สมมติฐานคือเส้นโค้งการฝึกเหล่านี้กำลังแสดงอาการ overfitting ซึ่งหมายความว่าโมเดลกำลังเรียนรู้ที่จะจดจำอินพุตจากตัวอย่างเพียงหนึ่งหรือสองตัวอย่างเท่านั้น
- ผู้เขียนได้ทดลองโดยใช้ตารางอัตราการเรียนรู้ที่ต่างกัน และสังเกตว่าโมเดลเรียนรู้ที่จะจดจำตัวอย่างได้อย่างรวดเร็วแม้จะเห็นเพียงครั้งเดียว
- ผู้เขียนเสนอว่า Large Language Models ที่ผ่านการ pre-train แล้วอาจมีพื้นผิว loss ที่ราบเรียบมากในบริเวณใกล้ค่าความสูญเสียต่ำสุด ซึ่งทำให้พวกมันเรียนรู้จากตัวอย่างเพียงตัวอย่างเดียวได้อย่างรวดเร็ว
- การเรียนรู้ที่รวดเร็วเช่นนี้อาจท้าทายวิธีการฝึกแบบดั้งเดิม และอาจทำให้ปัญหา catastrophic forgetting รุนแรงขึ้น เมื่อมีการนำข้อมูลใหม่เข้ามาแล้วโมเดลลืมสิ่งที่เคยเรียนรู้ก่อนหน้า
- ผู้เขียนเสนอแนวทางบรรเทาที่เป็นไปได้ เช่น เพิ่มการใช้เทคนิคอย่าง dropout หรือ stochastic depth หรือใช้การผสมชุดข้อมูลที่หลากหลายระหว่างกระบวนการฝึก
- ผู้เขียนเสนอให้มีการวิจัยเพิ่มเติมและสมมติฐานทางเลือก เพื่อทำความเข้าใจปรากฏการณ์นี้และผลกระทบของมันต่อการฝึกและการใช้งาน LLMs ให้ดียิ่งขึ้น
1 ความคิดเห็น
ความเห็นจาก Hacker News