ผมลองวัดการรันซ้ำของเอเจนต์จาก trace ของ benchmark สาธารณะ โดยนับกรณีที่เรียกเครื่องมือเดียวกันด้วยอาร์กิวเมนต์เดียวกันสองครั้ง และผลลัพธ์ก็เหมือนกันด้วย
จาก trace 6,780 รายการ พบ 8,042 กรณี แต่ถ้าตัดสิ่งอย่างการประกาศงานเสร็จซ้ำ ๆ ออกไป จะเหลือ 4,249 กรณี ในจำนวนนี้ เมื่อเทียบ entity ID ที่อยู่ใน response สำหรับการเรียกซ้ำของเครื่องมือที่เปลี่ยนสถานะ 3,432 กรณี พบว่า 159 กรณียืนยันได้ว่ามีการสร้างขึ้นมาจริง ๆ สองรายการ เช่น เอกสารชื่อเดียวกันสองฉบับ หรือสเปรดชีตเดียวกันสี่ไฟล์ถูกสร้างขึ้น
ตรงนี้มีข้อจำกัดที่ชัดเจน ตัวเลขทั้งหมดนี้มาจาก trace ของ benchmark เป็นบันทึกที่โมเดล 22 ตัวแก้ task ไม่ใช่บริการที่รันจริงใน production ผมค้นดู dataset สาธารณะ 8 ชุด แต่มีแค่อันนี้อันเดียวที่สังเกตปรากฏการณ์นี้ได้ benchmark ส่วนใหญ่ถูกออกแบบมาเพื่อให้คะแนนความถูกต้อง ดังนั้นถ้ามีการทำซ้ำเกิดขึ้น โครงสร้างก็มักทำให้กลายเป็นคำตอบผิด
เลยอยากถามคนที่รันใช้งานจริงครับ
- ใช้ MCP tools (หรือ server) ต่ออยู่กี่ตัว?
dataset สองชุดที่เราดูมีอัตราการทำซ้ำต่างกัน 3 เท่า (0.80% vs 2.41%) จำนวนเครื่องมือก็ต่างกันมาก คือ 20 ตัวเทียบกับ 523 ตัว แต่ลักษณะของ task และการจัดโมเดลก็ต่างกันไปด้วย จึงแยกไม่ได้ว่าจำนวนเครื่องมือเป็นสาเหตุหรือไม่
เมื่อแบ่งตามจำนวน server ที่ผูกกับ task ภายใน benchmark จริง ๆ พบว่าสูงสุดตอนมี 4–5 ตัว (ประมาณ 2.5%) และเมื่อมากกว่านั้นกลับต่ำลง เป็นแพตเทิร์นที่ไม่เป็นเส้นตรง เราไม่เห็นความสัมพันธ์ง่าย ๆ แบบ "ยิ่งเครื่องมือเยอะ การทำซ้ำยิ่งเพิ่ม" เลยอยากรู้ว่าใน production จริงเป็นอย่างไรกันบ้าง
- เคยเจอการรันซ้ำไหม? พบได้อย่างไร?
กรณีที่เราพบส่วนใหญ่ไม่มี error ทั้งสองครั้งได้ 200 และ log ก็สะอาด ดังนั้นถ้าดูแค่ log ย้อนหลังก็มองไม่เห็น ในการใช้งานจริง น่าจะมีหลายกรณีที่รู้เพราะลูกค้าแจ้งเข้ามา อยากทราบว่าของคุณเป็นอย่างไรครับ
- เครื่องมือที่ใช้อยู่ส่ง entity ID กลับมาใน response ไหม?
นี่เป็นจุดที่แยกระหว่าง "ถูกเรียกสองครั้ง" กับ "มีของเกิดขึ้นสองรายการ" API สร้างเอกสารส่วนใหญ่จะให้ ID แต่การส่งอีเมลมักให้แค่สตริงว่า "สำเร็จ" ใน 3,197 กรณีที่ตัดสินไม่ได้ มี 2,011 กรณีเป็นแบบนี้ และมีเครื่องมือ 24 ชนิดที่ไม่เคยให้ ID ใน response เลย
ไม่ได้ต้องการคำตอบที่ถูกต้องตายตัว แค่อยากพอจับความรู้สึกว่า benchmark กับ production จริงต่างกันแค่ไหน แค่เล่าประสบการณ์ก็ช่วยได้มากครับ
ยังไม่มีความคิดเห็น