การปรับจูนละเอียดของ GPT-3.5 Turbo และการอัปเดต API

 (openai.com)
1 คะแนน โดย GN⁺ 2023-08-23 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • OpenAI ประกาศการปรับจูนละเอียดและการอัปเดต API สำหรับ GPT-3.5 Turbo ทำให้นักพัฒนาสามารถปรับแต่งโมเดลให้เหมาะกับกรณีการใช้งานเฉพาะได้
  • คาดว่าการปรับจูนละเอียดสำหรับ GPT-4 จะพร้อมใช้งานในช่วงฤดูใบไม้ร่วง
  • การทดสอบเบื้องต้นแสดงให้เห็นว่า GPT-3.5 Turbo ที่ผ่านการปรับจูนละเอียดสามารถทำงานในบางงานได้ดีกว่าหรือเทียบเท่ากับประสิทธิภาพพื้นฐานของ GPT-4
  • ข้อมูลที่ส่งผ่าน API สำหรับการปรับจูนละเอียดเป็นของลูกค้า และ OpenAI หรือองค์กรอื่นจะไม่นำไปใช้ฝึกโมเดลอื่น
  • การปรับจูนละเอียดถูกใช้เพื่อปรับปรุงประสิทธิภาพของโมเดลในกรณีการใช้งานทั่วไป เช่น การควบคุมพฤติกรรมได้ดีขึ้น รูปแบบผลลัพธ์ที่เชื่อถือได้ และโทนที่ปรับแต่งได้
  • การปรับจูนละเอียดช่วยให้ธุรกิจย่อพรอมป์ต์ลงได้พร้อมคงประสิทธิภาพใกล้เคียงเดิม และรองรับโทเค็นได้ 4k ซึ่งมากกว่าโมเดลที่ปรับจูนละเอียดก่อนหน้านี้ถึงสองเท่า
  • การปรับจูนละเอียดมีประสิทธิภาพสูงสุดเมื่อใช้ร่วมกับเทคนิคอย่าง prompt engineering, information retrieval และ function calling
  • ค่าใช้จ่ายของการปรับจูนละเอียดแบ่งเป็น 2 ส่วน คือค่าเทรนเริ่มต้นและค่าใช้งาน
  • OpenAI ยังเปิดให้ใช้ babbage-002 และ davinci-002 เป็นตัวแทนของ GPT-3 base models รุ่นเดิม และสามารถปรับจูนละเอียดได้ผ่าน API endpoint ใหม่
  • endpoint เดิม /v1/fine-tunes มีกำหนดเลิกใช้งานในวันที่ 4 มกราคม 2024
  • OpenAI ยังพยายามรับประกันความปลอดภัยของการนำการปรับจูนละเอียดไปใช้งาน โดยข้อมูลฝึกสำหรับการปรับจูนละเอียดจะถูกตรวจจับข้อมูลฝึกที่ไม่ปลอดภัยผ่าน Moderation API และระบบคัดกรองที่อิง GPT-4
  • ในอนาคตอันใกล้จะมีการเปิดตัว UI สำหรับการปรับจูนละเอียด เพื่อให้นักพัฒนาเข้าถึงข้อมูลเกี่ยวกับงานปรับจูนละเอียดที่กำลังดำเนินอยู่และ snapshot ของโมเดลที่เสร็จสิ้นแล้วได้ง่ายขึ้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-08-23
ความคิดเห็นจาก Hacker News
  • OpenAI เปิดตัวการปรับจูนละเอียดของ GPT-3.5 ตามที่เคยสัญญาไว้ หลังจากเปิดสิทธิ์เข้าถึง GPT-4 API ไปเมื่อไม่กี่เดือนก่อน
  • แม้จะถูกวิจารณ์ว่าเปิดกว้างไม่เพียงพอ แต่ OpenAI ก็ได้รับการยอมรับว่าสร้างนวัตกรรมได้รวดเร็ว แซงหน้า AI โอเพนซอร์สอื่น ๆ อย่าง Llama และ Bard
  • ค่าใช้จ่ายในการสร้างผลลัพธ์ด้วย GPT-3.5 Turbo ที่ผ่านการปรับจูนละเอียดสูงกว่ารุ่นพื้นฐาน 8 เท่า จึงคุ้มค่าสำหรับผู้ที่สามารถลดขนาดพรอมป์ต์ลงได้มากเท่านั้น
  • มีการเรียกร้องให้เปรียบเทียบระหว่าง GPT-3.5 Turbo ที่ผ่านการปรับจูนละเอียดกับโมเดล Llama2 ซึ่งแบบหลังต้องใช้อินฟราสตรักเจอร์แบบเช่า
  • ผู้ใช้บางรายรู้สึกว่า GPT-3.5 Turbo มีความวนซ้ำและไม่แม่นยำ จึงไม่เหมาะกับงานเขียนและการเขียนโค้ด ขณะที่ผู้ใช้อีกส่วนมองว่า GPT-4 ดีกว่ามากและมีประโยชน์ในฐานะเครื่องมือช่วยด้านการศึกษาและการแก้ปัญหา
  • ฟีเจอร์ที่ผู้ใช้ต้องการคือความสามารถแบ่งพรอมป์ต์ในตัว เพื่อไม่ต้องพึ่งเครื่องมือจากบุคคลที่สาม
  • มีการจับตาการตัดสินใจของ OpenAI ที่จะไม่ให้บริการโมเดลที่ "ไม่ปลอดภัย" และทั้ง davinci-002 กับ babbage-002 ต่างก็ติดลูปไม่สิ้นสุดเมื่อเจอกับคำตอบแบบ "ไม่ปลอดภัย"
  • ข้อมูลฝึกสำหรับการปรับจูนละเอียดจะต้องผ่าน OpenAI Moderation API และระบบคัดกรองที่อิง GPT-4 ซึ่งคาดเดากันว่าใช้เฉพาะเมื่อความ "ปลอดภัย" ยังไม่ชัดเจน เพราะมีต้นทุนสูง
  • มีคำถามเกี่ยวกับวิธีคำนวณจำนวนโทเค็นที่ต้องใช้สำหรับงานปรับจูนละเอียด และโดยทั่วไปต้องใช้ข้อมูลสำหรับการปรับจูนมากแค่ไหนจึงจะส่งผลต่อพฤติกรรมของโมเดลพื้นฐานได้อย่างมีประสิทธิภาพ
  • ความสามารถในการปรับจูนละเอียดของโมเดล "Chat" ดูน่าสนใจ และมีการตั้งคำถามถึงความเป็นไปได้ในการใช้โมเดลที่ปรับจูนแล้วเพื่อหลบเลี่ยงตัวตรวจจับ AI ที่มีอยู่ในปัจจุบัน
  • มีการแสดงความกังวลเรื่องความเป็นส่วนตัว และตั้งคำถามว่า OpenAI หรือ Microsoft เก็บข้อความจากการเรียกใช้ API ไว้นานแค่ไหน
  • โดยรวมแล้ว การเปิดตัวการปรับจูนละเอียดของ GPT-3.5 Turbo ถูกมองว่าเป็นพัฒนาการเชิงบวก และมีความคาดหวังต่อการปรับจูนแบบ 16k