เกณฑ์การเลือกโมเดล GPT-5.6: ราคาต่างกัน 5 เท่า แต่ประสิทธิภาพการเขียนโค้ดต่างกัน 4.1 จุดเปอร์เซ็นต์

GPT-5.6 แบ่งโมเดลเป็น Sol/Terra/Luna และมีโหมด Max/Ultra เพิ่มเข้ามา
ผมสับสนทุกครั้งว่าควรเลือกตัวไหนสำหรับงานแต่ละแบบ จึงสรุปจากเบนช์มาร์กที่เปิดเผยไว้

ก่อนอื่นต้องแยกเป็นสองแกน

• ระดับโมเดล (Grade): Sol / Terra / Luna กำหนดระดับความฉลาดและต้นทุนพื้นฐาน
• วิธีการทำงาน (Mode): การให้เหตุผลพื้นฐาน / Max / Ultra ปริมาณการคำนวณและโครงสร้างการประมวลผลจะแตกต่างกันตรงนี้
• Max คือเอเจนต์เดี่ยวที่เจาะลึกปัญหาหนึ่ง ส่วน Ultra ใช้เอเจนต์ 4 ตัวแบ่งงานกันแบบขนาน

ราคา API (อินพุต/เอาต์พุตต่อ 1 ล้านโทเคน)

• Sol $5 / $30
• Terra $2.5 / $15
• Luna $1 / $6
• ต่างกันสูงสุด 5 เท่า ส่วนการอ่านจากแคชลด 90% ดังนั้นถ้าเป็นงานซ้ำ ๆ ช่องว่างจริงจะยิ่งแคบลง

ประสิทธิภาพไม่ได้ห่างกันเท่าราคา (Terminal-Bench 2.1)

• Sol Ultra 91.9% / Sol 88.8% / Terra 87.4% / Luna 84.7%
• Sol กับ Luna ที่ราคาต่างกัน 5 เท่า มีส่วนต่างเพียง 4.1 จุดเปอร์เซ็นต์
• Sol กับ Terra ต่างกัน 1.4 จุดเปอร์เซ็นต์ แต่ราคาต่างกัน 2 เท่า
• Terra (87.4%) แซง GPT-5.5 (85.6%) ซึ่งเป็นแฟลกชิปรุ่นก่อนหน้า

ในงานความรู้ทั่วไปในชีวิตประจำวัน ช่องว่างยิ่งแคบลง (Agents' Last Exam)

• Sol 52.7% / Terra 50.4% / Luna 50.3% / GPT-5.5 46.9%
• Terra กับ Luna ต่างกัน 0.1 จุดเปอร์เซ็นต์ งานสรุปง่าย ๆ หรือ Q&A ใช้ Luna ก็เพียงพอ

Sol ไม่ได้เป็นอันดับ 1 เสมอไป

• SWE-Bench Pro (วิเคราะห์โครงสร้างโค้ด): Sol 64.6% / Claude Mythos 5 80.3% / Fable 5 80.0%
• ในทางกลับกัน งานที่ต้องควบคุมสภาพแวดล้อมโดยตรง Sol นำหน้า
  OSWorld 2.0 (ควบคุมคอมพิวเตอร์): Sol 62.6% vs Claude Opus 4.8 54.8%
  BrowseComp (การท่องเว็บ): Sol Ultra 92.2% / Sol 90.4%
• ดูเหมือนผลจะแยกกันตามว่าเป็นการควบคุมเทอร์มินัลหรือการวิเคราะห์โครงสร้างโค้ด

โหมด Ultra เพิ่มขึ้นน้อยกว่าที่คิด

• เขียนโค้ด +3.1 จุดเปอร์เซ็นต์, วิเคราะห์ความปลอดภัย +3.1 จุดเปอร์เซ็นต์, ท่องเว็บ +1.8 จุดเปอร์เซ็นต์
• เพื่อให้ได้ 2~3 จุดเปอร์เซ็นต์นี้ ต้องใช้โทเคนประมาณ 3 เท่า
• ดูแล้วควรใช้เฉพาะงานที่ต้นทุนจากความล้มเหลวสูง หรือจำเป็นต้องมีความแม่นยำจริง ๆ

สรุปคือ

• Luna: งานซ้ำง่าย ๆ, ประมวลผลปริมาณมาก, เน้นความเร็ว
• Terra: งานทั่วไปส่วนใหญ่ เป็นค่าเริ่มต้นโดยพฤตินัย
• Sol: โครงสร้างตรรกะซับซ้อน, งานที่ต้นทุนจากความล้มเหลวสูง
• Max: เจาะลึกปัญหาเดียว
• Ultra: ทำหลายงานแบบขนาน

ตัวเลขทั้งหมดอ้างอิงจากตารางเบนช์มาร์กในบทความเปิดตัวอย่างเป็นทางการของ OpenAI
https://openai.com/index/gpt-5-6/

เบนช์มาร์กเป็นผลลัพธ์เดียว จึงอาจต่างจากต้นทุนจริงหรือความรู้สึกในการใช้งานจริงของโปรเจกต์
โดยเฉพาะมีบางช่วงอย่าง SWE-Bench Pro ที่อันดับพลิกกลับ ทำให้อ่านผลต่างกันไปตามประเภทงานได้เช่นกัน
อยากรู้ว่ามีช่วงไหนที่คุณลองใช้แล้วรู้สึกต่างออกไปบ้าง
ถ้าผมดูผิดตรงไหนก็บอกได้ครับ จะได้แก้ไข