ไปป์ไลน์ตรวจสอบที่ใช้ AI Agent 180 ตัว จับบั๊กในแอป iOS ได้ 55 รายการภายในวันเดียว
(velog.io/@soungjunban)นี่คือบันทึกการสร้างไปป์ไลน์สำหรับ audit แอป SNS บน iOS ที่ให้บริการใน 21 ภาษา (ประมาณ 130,000 บรรทัด) ด้วย LLM agent และรันเป็นเวลาหนึ่งวัน
- แยกบทบาทของ finder ที่ค้นหาบั๊กกับ validator ที่ตรวจสอบออกจากกัน และกำหนดเกณฑ์ตัดสินไม่ใช่เสียงข้างมาก แต่เป็น “การโต้แย้งไม่สำเร็จ” ทำให้ false positive เป็น 0
- รับรายงานการค้นพบด้วยการบังคับเอาต์พุตตาม JSON schema เพื่อปิดกั้นรายงานหลอนในเชิงโครงสร้าง
- ใส่รายการบั๊กที่ทราบอยู่แล้วลงในพรอมป์ต์เพื่อป้องกันการค้นพบซ้ำ และใช้เงื่อนไขจบการทำงานที่ทำซ้ำเป็นรอบ ๆ จนกว่าจะไม่มีการค้นพบใหม่
- ผลลัพธ์: 6 รอบ, agent ประมาณ 180 ตัว, แก้ไขบั๊กที่ยืนยันแล้ว 55 รายการ, และพบการแก้ไขแบบครึ่ง ๆ กลาง ๆ 3 รายการในขั้นตอนตรวจสอบ
บทความนี้สรุปทั้งการตัดสินใจด้านการออกแบบ เช่น ใช้ lens แบบใดในการ fan-out และเหตุใดจึงให้โค้ดที่แก้แล้วถูกโต้แย้งอีกครั้ง รวมถึงสิ่งที่การ audit แบบ static มองไม่เห็น (ข้อจำกัด) ด้วย
ยังไม่มีความคิดเห็น