State of GPT [วิดีโอ 42 นาที]

• เนื้อหาที่ Andrej Karpathy บรรยายในงาน Build 2023
• แบ่งเป็น 2 พาร์ต
  • วิธีฝึกผู้ช่วย (Chat)GPT
  • วิธีนำผู้ช่วยนี้ไปใช้กับแอปพลิเคชันของตนเอง
• อธิบายอย่างกว้างขวางเกี่ยวกับ Tokenization, Pretraining, Supervised Finetuning, Reinforcement Learning from Human Feedback ฯลฯ และ
  แนะนำทั้งกลยุทธ์การเขียนพรอมป์ เครื่องมือต่างๆ ในระบบนิเวศ และการขยายต่อในอนาคต

[kuroneko]

พอสรุปออกมาแล้วได้ประมาณนี้ครับ

• โมเดลภาษาขนาดใหญ่ เช่น GPT ถูกฝึกผ่านขั้นตอน pre-training บนข้อมูลข้อความจำนวนมาก และการ fine-tuning สำหรับงานเฉพาะ
• การ pre-training คือการทำนายคำถัดไปในลำดับข้อความเพื่อเรียนรู้รูปแบบการใช้ภาษาทั่วไป ส่วน fine-tuning คือการปรับโมเดลให้เหมาะกับงานเฉพาะ
• การ prompting ก็สามารถใช้เพื่อประยุกต์โมเดลภาษาเข้ากับงานต่าง ๆ ได้โดยไม่ต้อง fine-tuning โดยให้ prompt แก่โมเดลเพื่อสร้างคำตอบ
• การทำ supervised fine-tuning ใช้ข้อมูลที่มีการระบุป้ายกำกับของ prompt และคำตอบในอุดมคติเพื่อฝึกโมเดลผู้ช่วย
• ยังสามารถปรับปรุงประสิทธิภาพเพิ่มเติมได้ด้วยการทำ reinforcement learning from human feedback เพื่อฝึกโมเดลผู้ช่วยให้สร้างคำตอบที่มนุษย์ให้คะแนนสูง
• เทคนิค prompt engineering เช่น การแสดงขั้นตอนการทำงานของโมเดลแบบทีละขั้น หรือการให้ตัวอย่าง สามารถช่วยเพิ่มประสิทธิภาพของโมเดลภาษาได้
• โมเดลภาษายังขาดความสามารถด้าน internal monologue และการให้เหตุผลแบบที่มนุษย์มีอยู่ ดังนั้น prompting จึงต้องช่วยชดเชยส่วนนี้
• การให้โมเดลภาษาเข้าถึงเครื่องมือภายนอก เครื่องคิดเลข และฐานความรู้ สามารถช่วยเพิ่มประสิทธิภาพได้
• การ fine-tuning เฉพาะบางส่วนของโมเดลภาษาสำหรับงานเฉพาะสามารถเพิ่มประสิทธิภาพได้ แต่มีความซับซ้อนมากขึ้น
• ยังมีข้อจำกัดหลายประการของโมเดลภาษาอยู่ เช่น อคติ ความผิดพลาดในการให้เหตุผล และความเปราะบางต่อการโจมตี

[xguru]

https://www.youtube.com/watch?v=bZQun8Y4L2A
มีวิดีโอเดียวกันอยู่บน YouTube เช่นกัน แต่บนเว็บไซต์ของ Microsoft รองรับคำบรรยายภาษาเกาหลีที่แปลด้วย AI จึงขอนำลิงก์ฝั่งนั้นมาโพสต์แทน