การปรับจูนละเอียด Mistral 7B สำหรับการดราฟต์ Magic: The Gathering

 (generallyintelligent.substack.com)
1 คะแนน โดย GN⁺ 2023-12-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

สรุป: สำรวจเทคนิคการปรับจูนละเอียดของปัญญาประดิษฐ์

  • ประสิทธิผลและความยากของเทคนิคการปรับจูนละเอียด
    • การปรับจูนละเอียดช่วยเสริมความสามารถของ GPT-4 และสัญญาว่าจะให้ทั้งความเร็วและความคุ้มค่าด้านต้นทุน
    • เพื่อแก้ปัญหาการขาดข้อมูลว่าการปรับจูนละเอียดมีประสิทธิภาพมากเพียงใดและยากแค่ไหน จึงได้ทำการทดลองด้วยตนเอง

การเลือกปัญหา

  • ทดสอบความสามารถในการให้เหตุผลของโมเดลผ่านการดราฟต์ Magic: The Gathering (MTG)
    • MTG เป็นเกมการ์ดเชิงกลยุทธ์ โดยการดราฟต์คือการเลือกการ์ดจากพูลการ์ดแบบสุ่มเพื่อประกอบเป็นเด็ค
    • การดราฟต์เป็นงานที่ซับซ้อนและเหมาะสำหรับการทดสอบ เพราะต้องอาศัยการให้เหตุผลและความเข้าใจข้อมูลใหม่
    • ใช้ข้อมูลประวัติขนาดใหญ่จากบริการชื่อ 17lands และใช้การเลือกดราฟต์ของผู้เล่นระดับท็อปเป็น "ground truth"

ผลลัพธ์และสรุป

  • ประสิทธิภาพของโมเดล 7B ที่ผ่านการปรับจูนละเอียด
    • โมเดล 7B ที่ปรับจูนละเอียดแล้วมีประสิทธิภาพเหนือกว่า GPT-4 และเข้าใกล้ระดับมนุษย์
    • การปรับจูนละเอียด GPT-3.5 อาจให้ผลลัพธ์ที่ดีกว่า แต่มีต้นทุนสูงมาก
    • การปรับจูนละเอียดยังคงเป็นกระบวนการเชิงทดลอง โดยเฉพาะการทำ prompt engineering ที่ใช้เวลามาก
    • หลังจากปรับจูนละเอียดกับชุดการ์ดใหม่แล้ว โมเดลยังแสดงความสามารถในการ generalize ไปยังชุดการ์ดที่ไม่เคยเห็นได้

รายงานภาคสนาม: วิธีการและกระบวนการเรียนรู้

  • การสร้างข้อมูล
    • แปลงข้อมูลรูปแบบไฟล์ CSV จาก 17lands ให้อยู่ในรูปแบบข้อความที่เหมาะกับการปรับจูนละเอียด
    • การจัดรูปแบบข้อมูลเป็นกระบวนการที่ท้าทายและต้องอาศัยการทดลอง
  • การรันการปรับจูนละเอียด
    • เนื่องจากปัญหาการเข้าถึง GPU จึงเช่า GPU รายชั่วโมงจาก Runpod
    • ใช้ axolotl เพื่อให้การเพิ่มประสิทธิภาพการปรับจูนละเอียดทำได้ง่ายขึ้น
  • การประเมินผล
    • การกำหนดเกณฑ์ประเมินก่อนเริ่มการทดลองเป็นสิ่งสำคัญ
    • การตั้งเกณฑ์ประเมินสำหรับ language model อาจเป็นเรื่องยาก

บทเรียนสำคัญ

  • ผลของการปรับจูนละเอียด
    • การปรับจูนละเอียดกับข้อมูลใหม่ให้ความแม่นยำและความคุ้มค่าด้านต้นทุนเหนือกว่า GPT-4
    • การปรับจูนละเอียดต้องอาศัยกระบวนการเชิงทดลองเพื่อให้ทำได้อย่างถูกต้อง และเป็นทักษะเฉพาะทางที่เรียนรู้ยากกว่า prompt engineering

ข้อมูลเพิ่มเติมเกี่ยวกับ Magic

  • ประสิทธิภาพของบอตดราฟต์ AI ที่ปรับจูนละเอียดแล้ว
    • พัฒนาแอปช่วยดราฟต์โดยใช้โมเดลดราฟต์ที่เชื่อมต่อกับล็อกของ Magic Arena
    • โมเดลที่ปรับจูนละเอียดแล้วเป็นผู้สร้างตัวเลือก ขณะที่ GPT-4 ทำหน้าที่ให้คำอธิบาย
    • มีการจำลองบอตดราฟต์ AI หลายตัว และพบว่ามีประสิทธิภาพใกล้เคียงกับผู้ดราฟต์ที่เป็นมนุษย์

ความเห็นของ GN⁺

ประเด็นสำคัญที่สุดของบทความนี้คือ เทคโนโลยีการปรับจูนละเอียดมีศักยภาพที่จะทำผลงานเหนือกว่า large language model ที่มีอยู่เดิม (เช่น GPT-4) และช่วยยกระดับทั้งความเข้าใจและประสิทธิภาพของปัญญาประดิษฐ์สำหรับงานเฉพาะทางได้อย่างมาก เหตุผลที่บทความนี้น่าสนใจคือมันแสดงให้เห็นทั้งกระบวนการปรับจูนละเอียดอย่างเป็นรูปธรรมและผลลัพธ์จากการใช้งานจริง ซึ่งจะช่วยให้แม้แต่วิศวกรซอฟต์แวร์ระดับเริ่มต้นก็เข้าใจแนวโน้มการพัฒนาเทคโนโลยี AI และวิธีนำไปประยุกต์ใช้ได้ดีขึ้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-08
ความคิดเห็นจาก Hacker News
  • น่าประทับใจที่มันแสดงให้เห็นว่า แม้แต่แนวคิดที่ดูเรียบง่ายก็อาจทำให้เกิดขึ้นจริงได้ยากในการ fine-tune LLM แม้จะมีชุดข้อมูลตั้งต้นและโมเดลที่มีคุณภาพดี ก็ยังเป็นงานที่ท้าทาย
  • ทำให้นึกว่า LLM เหมาะกับปัญหาที่ไม่มีคำตอบที่เป็นธรรมชาติเพียงหนึ่งเดียว การเลือกการ์ดที่สมบูรณ์แบบนั้นแทบเป็นไปไม่ได้ในเชิงคำนวณ แต่การเลือกการ์ดที่ดีนั้นทำได้ และ LLM อาจเข้าใกล้ประสิทธิภาพระดับมนุษย์ได้
  • ดูเหมือนว่าจะมีชุดของปัญหาที่สามารถแก้ได้ด้วยการ fine-tune LLM แม้จะไม่ใช่การเปลี่ยนแปลงปฏิวัติในชีวิตประจำวัน แต่ก็น่าคาดหวังว่าจะได้สู้กับบอตที่มีสไตล์การเล่นน่าสนใจในเกมอย่าง Magic: the Gathering
  • มีการตั้งคำถามถึงวิธีดึง "ข้อมูลความจริง" ออกมาจากการวิเคราะห์การเลือกดราฟต์ของผู้เล่นระดับท็อป ข้อมูลที่จัดเรียงตามอัตราชนะอาจสะท้อนผู้เล่นที่โชคดีที่สุด ไม่ใช่ผู้เล่นที่เก่งที่สุด
  • แม้ LLM อาจมีความรู้เรื่องกฎอยู่บ้าง แต่ก็น่าจะพิจารณาเรื่องความหายากของการ์ด ค่าใช้จ่าย ฯลฯ เป็นหลัก จึงมีการตั้งคำถามถึง "ความแม่นยำ" ของการดราฟต์
  • แทนที่จะทำให้ loss ของ LLM เป็น 0 การใช้ weighted loss ด้วย Axolotl อาจช่วยได้ และการปรับให้เข้ากับโดเมนอาจช่วยในการ fine-tune
  • ดูเหมือนว่า prompt ที่ให้กับเอเจนต์จะมีเพียงชื่อของการ์ด และไม่ได้รักษาบริบทจากการเลือกก่อนหน้าไว้ สิ่งนี้ชี้ว่าการที่บอตดราฟต์ได้ดีอาจเป็นเรื่องบังเอิญล้วนๆ
  • มีการแชร์ลิงก์เกี่ยวกับกรณีที่มีคนแฮ็ก Magic the Gathering: Arena เพื่อทำอัตราชนะ 100% ซึ่งชี้ว่า AI เสมือนชื่อ Sparky ใน MTGA อาจไม่ได้ซับซ้อนนัก
  • มีการแสดงความสนใจต่อการ fine-tune LLM สำหรับ Magic: The Gathering โดยกำลังสร้างตัวเรียกดูความคล้ายของการ์ดอยู่ และเคยลองหลาย prompt ด้วย InstructorXL แต่ยังไม่ได้ผลลัพธ์ที่น่าพอใจ โพสต์นี้เป็นแรงบันดาลใจ
  • มีความสงสัยว่าสามารถใช้โมเดลขนาดเล็กที่มองการ์ดแต่ละใบเป็นโทเค็น และใช้สถานะของดราฟต์เป็นอินพุตเพื่อทำนายการ์ดที่จะเลือกได้หรือไม่
  • น่าสนใจหากจะเปรียบเทียบกับการฝึกโครงข่ายประสาทเพื่อดราฟต์โดยไม่ใช้ Mistral เป็นจุดตั้งต้น ยังไม่ชัดเจนว่าองค์ประกอบแบบ LLM สำคัญเพราะอะไร
  • การที่สามารถแทนการดราฟต์ด้วย LLM ได้นั้นน่าสนใจมาก โดย AI สำหรับดราฟต์ที่ดีที่สุดมักใช้ representation learning ในรูปแบบใดรูปแบบหนึ่ง