SlopGuard – แอป GitHub ที่ให้คะแนนและกักกัน PR/อีชชูแบบ AI slop (โดยไม่ปิดอัตโนมัติ)

ทุกวันนี้ เมนเทนเนอร์โอเพนซอร์สจำนวนมากต้องรับมือกับ PR/อีชชูคุณภาพต่ำที่สร้างโดย AI ซึ่งกลายเป็นปัญหาที่พบได้บ่อย ช่วง 30 วินาทีแรกมันดูเหมือนจะใช้ได้ เลยปล่อยผ่านโดยไม่ดูไม่ได้ แต่พอต้องคอยคัดกรองทีละอัน เวลาก็หมดไปเรื่อย ๆ ในขณะเดียวกัน ถ้าปิดทิ้งเพียงเพราะเห็นแพตเทิร์น ก็เสี่ยงจะไล่ผู้มีส่วนร่วมหน้าใหม่ที่ตั้งใจจริงออกไปด้วย

SlopGuard เป็นแอป GitHub ติดตั้งได้ด้วยคลิกเดียว (ไม่ต้องใช้ Action YAML) แล้วจะให้คะแนน PR และอีชชูที่เข้ามาในช่วง 0~100 ติดแท็กคุณลักษณะของแหล่งที่มา และถ้าเกินค่า threshold ก็จะใส่ป้าย slop-quarantine พร้อมคอมเมนต์อธิบายเหตุผลให้ โดยจะไม่ปิดอัตโนมัติเด็ดขาด การตัดสินใจอย่างการยกเลิกการกักกัน/ปฏิเสธยังคงเป็นหน้าที่ของเมนเทนเนอร์ โดยสั่งผ่านคอมเมนต์ /slop approve, /slop reject ด้วยตนเอง

แพ็กเกจฟรี (โฮสต์ให้) ใช้เฉพาะ heuristic ไม่ต้องมีคีย์ LLM และในชุดประเมินที่เปิดเผยไว้ ทำได้ precision 100% และ recall 92% (ผู้พัฒนายอมรับตรง ๆ ว่าชุดประเมินยังมีขนาดเล็ก และเปิดเผยวิธีการไว้ในเรโป) ส่วนแพ็กเกจแบบเสียเงินจะเพิ่มการตัดสินด้วย LLM เพื่อจับเคสที่ละเอียดอ่อนยิ่งขึ้น

ซอร์สโค้ดเปิดเผย (MIT + Commons Clause) จึงสามารถอ่านโค้ดและ self-host เพื่อใช้งานตามวัตถุประสงค์ของตนเองได้

ซอร์ส: https://github.com/Blue-B/slopguard