AI-SLOP Detector — เครื่องมือตรวจจับและวิเคราะห์ ‘โค้ดโม้เกินจริงที่ AI สร้าง’
(github.com/flamehaven01)##เครื่องมือนี้เริ่มต้นจากประสบการณ์ล้มเหลวส่วนตัว
ไม่กี่วันก่อน ผมได้เผยแพร่รีโพซิทอรีชื่อใหญ่โตอย่างมั่นใจว่า
“HRPO-X v1.0.1 – เฟรมเวิร์ก implementation สำหรับการเพิ่มประสิทธิภาพการอนุมานแบบไฮบริด”
โปรเจกต์นี้คือสิ่งที่ผมเชื่อว่าเป็นการนำสถาปัตยกรรมจากงานวิจัยล่าสุดมา implement จริง
แต่ทันทีหลังเผยแพร่ เสียงตอบกลับแรกก็ทำลายความคาดหวังของผมจนไม่เหลือชิ้นดี
“ลองเข้าไปดูเผื่อไว้แล้ว ก็เป็นอย่างที่คิดจริง ๆ
รีโพ AI Slop ที่สร้างมาจาก Hallucination ล้วน ๆ”
ตอนแรกผมนึกว่าเป็นคอมเมนต์ด่าเฉย ๆ
แต่พอเปิดโค้ดกลับมาดูและแกะทีละส่วน
ผมก็พบว่าคำวิจารณ์นั้นแม่นยำจนเจ็บแปลบ
ปัญหาไม่ได้อยู่ที่ “เจตนา” แต่อยู่ที่ “ความหนาแน่น”
โปรเจกต์นี้ไม่ใช่เดโมธรรมดา
แต่เป็นผลลัพธ์การศึกษาว่าจะ ย้ายงานวิจัยไปสู่ production architecture อย่างไร
- มีการออกแบบสถาปัตยกรรม
- จัดระเบียบ folder tree ไว้แล้ว
- มีไฟล์ตั้งค่า (Config)
- นิยามคลาสและอินเทอร์เฟซครบถ้วน
- แม้แต่อัลกอริทึมตรวจสอบภายใน (audit) ก็ผ่านตามปกติ
ภายนอกดูสมบูรณ์แบบ
แม้แต่ linter เดิมหรือการตรวจสอบ structural integrity ก็ผ่านทั้งหมด
แต่เมื่อเจาะหาสาเหตุลึกลงไป
ผมพบปัญหาร้ายแรงข้อหนึ่ง
“Structural Integrity สมบูรณ์แบบก็จริง แต่
Content Density กลับเข้าใกล้ 0”
กล่าวคือ
- เปลือกนอก (Shell) ดูน่าเชื่อถือ
- แต่ logic การ implement จริงกลับว่างเปล่าหรือมีแค่
pass - และเต็มไปด้วยคอมเมนต์ที่ตกแต่งเกินจริง
ผมจึงยอมรับไม่ได้ไม่ว่าอย่างไรว่า
สิ่งนี้คือรูปแบบขยะคลาสสิกของโค้ดที่ AI สร้างขึ้น
หรือก็คือ “AI Slop”
เครื่องมือที่สร้างขึ้นจากเรื่องนี้: AI-SLOP Detector
ด้วยเหตุนี้จึงเกิด AI-SLOP Detector ขึ้นมา
เป้าหมายเรียบง่ายมาก
- ไม่ได้ดูว่าโค้ดทำงานได้ดีแค่ไหน
- แต่ดูว่าระหว่างโค้ดกับคำอธิบายนั้นห่างกันมากแค่ไหน
- โดย สังเกตแบบ static analysis
เพื่อทำเช่นนั้น เครื่องมือนี้ใช้ตัวชี้วัดต่อไปนี้
ตรวจจับอะไรบ้าง
แพตเทิร์น AI Slop ที่นิยามไว้ใน README แบ่งใหญ่ ๆ ได้ 3 แบบ
1. Empty Function Slop (ฟังก์ชันว่างเปล่า)
- คำอธิบายดูซับซ้อน
- แต่ implementation จริงมีระดับแค่
pass
2. Buzzword Inflation (การพองตัวของศัพท์หรู)
- ไม่สัมพันธ์กับความซับซ้อนของโค้ด
neural,transformer,quantum,enterpriseและคำทำนองนี้
ถูกใช้มากเกินไป
3. Overhyped Comments (คอมเมนต์อวยเกินจริง)
- เป็น logic ง่าย ๆ
แต่มีคอมเมนต์ที่ใช้คำอย่าง “innovative”, “state-of-the-art” ซ้ำไปซ้ำมา
วิธีวิเคราะห์ (สรุป)
AI-SLOP Detector อิงกับ Python AST
คำนวณหลายตัวชี้วัดแบบขนาน แล้วสรุปออกมาเป็น Deficit Score (0–100)
ตัวชี้วัดหลัก
LDR (Logic Density Ratio)
- สัดส่วนของ logic จริงเมื่อเทียบกับโค้ดทั้งหมด
- เกณฑ์: ต่ำกว่า 45% ถือเป็นระดับ CRITICAL(F)
Inflation Score
- ความหนาแน่นของ buzzword ในเอกสาร/คอมเมนต์ เทียบกับความซับซ้อนของโค้ด
- เกณฑ์: ตั้งแต่ 2.0 เท่าขึ้นไปถือเป็น CRITICAL
DDC (Dependency Density Check)
- import ที่ไม่ได้ใช้งาน
- สัดส่วนของ dependency ที่ไม่มีความหมาย
Pattern Registry
- empty function
exceptแบบเปลือย- การใช้ TODO / FIXME มากเกินไป เป็นต้น
- ตรวจจับแพตเทิร์นเฉพาะของโค้ดที่ AI สร้างจำนวนมาก
ค่าทั้งหมดนี้จะถูกนำมารวมเพื่อจัดประเภทเป็นสถานะดังต่อไปนี้
CLEANSUSPICIOUSINFLATEDCRITICAL
สถานะของโปรเจกต์
- Python 3.8+
- มีทั้ง CLI และ Python API
- ผ่านการทดสอบ 34 รายการ
- เวอร์ชันล่าสุด: v2.5.0 (2026-01-09)
เครื่องมือนี้เหมาะกับใคร
- คนที่ใช้เครื่องมือ no-code / low-code
- นักพัฒนาที่ต้องตรวจทานโค้ดที่สร้างโดย AI
- คนที่เจอ “รีโพซิทอรีที่ดูน่าเชื่อแต่ทำให้รู้สึกไม่ไว้ใจ” อยู่บ่อย ๆ
เป้าหมายคือมอบ
สัญญาณที่ช่วยอธิบายได้ว่า “ทำไมโค้ดนี้ถึงดูแปลก”
ให้กับคนกลุ่มนี้
สุดท้ายนี้
HRPO-X v1.0.1 ที่กล่าวถึงข้างต้นได้ผ่านการ refactor ครั้งใหญ่ทั้งหมดแล้ว
และตอนนี้ถูกจัดระเบียบใหม่ให้สมจริงในฐานะ เวอร์ชันเพื่อการศึกษา
หวังว่าบทความนี้และเครื่องมือนี้
จะช่วยคนที่กำลังเผชิญปัญหาคล้ายกันได้ไม่มากก็น้อย
ขอเป็นกำลังใจให้นักพัฒนาทุกคน!
ยังไม่มีความคิดเห็น