Databricks สร้างเบนช์มาร์ก AI สำหรับการเขียนโค้ดของตัวเองอย่างไร และได้ผลลัพธ์อะไรบ้าง
(databricks.com)- ปัญหาของเบนช์มาร์กการเขียนโค้ดที่เปิดเผยสู่สาธารณะคือมักไม่ตรงกับสภาพแวดล้อมเฉพาะของแต่ละบริษัท และสามารถโกงผลได้
- Databricks จึงสร้างเบนช์มาร์กขึ้นจากงานจริงและภาษาที่ใช้จริงภายในบริษัทเพื่อทำการประเมิน
- GLM 5.2 แก้โจทย์ที่ยากที่สุดได้ในระดับเดียวกับ Opus 4.8 แต่มีราคาเพียงราว 66% ของ Opus
- Sonnet 5 มีราคาถูกกว่า Opus 4.8 อยู่ 1.7 เท่า แต่ไม่มีประสิทธิภาพนัก เพราะใช้โทเค็นมากกว่า 1.9 เท่าเพื่อให้งานจริงเสร็จสมบูรณ์
- แม้จะใช้โมเดลเดียวกัน แต่ขึ้นอยู่กับฮาร์เนสที่ใช้ ก็สามารถประหยัดทั้งค่าใช้จ่ายและเวลาประมวลผลได้อย่างมาก
ยังไม่มีความคิดเห็น