ในอุตสาหกรรมที่หมายเลขชิ้นส่วนที่ถูกแต่งขึ้นหรือการคำนวณที่ผิดแบบเงียบ ๆ อาจไหลต่อไปถึงแบบเขียน, BOM และการสั่งซื้อ
เมื่อทำงานอยู่ในสภาพแวดล้อมแบบนั้น จึงสร้างฮาร์เนสที่ปฏิบัติกับคำตอบของ LLM เหมือนเอกสารที่ “ห้ามปล่อยออกก่อนผ่านการตรวจสอบ”
และใช้งานจริงมาหลายเดือนแล้ว ตอนนี้เปิดเผยสแนปช็อตที่คัดสรรโดยตัดข้อมูลส่วนตัวและข้อมูลเฉพาะโดเมนออก
- เกตตรวจสอบ 13 ประเภทก่อนส่งคำตอบออก: บล็อกการแต่งเรื่อง (ห้ามเดาสร้างหมายเลขชิ้นส่วน·DOI),
รัน Bash ซ้ำเพื่อตรวจเลขคณิต, แยก prompt injection, เมื่้ออ้างว่า “รันแล้ว” ให้เทียบกับ output จากเครื่องมือจริง,
เกตป้องกันการเกิดซ้ำที่ตรึงเคสล้มเหลวไว้เป็น regression gold set ฯลฯ - แนบระดับความเชื่อมั่น 3 ระดับให้กับตัวเลขสำคัญ·การอ้างอิง·ข้ออ้างเชิงเหตุผลทั้งหมด — การอ้างอิงจากความจำ
ได้สูงสุดแค่สีเหลือง ส่วนสีเขียวต้องเป็นการค้นดูจริงเท่านั้น - ข้อสรุปที่มีความสำคัญด้านความปลอดภัยจะถูกกระตุ้นให้ให้เหตุผลใหม่แบบขนานด้วยโมเดลต่างชนิด (Gemini·Groq·OpenAI CLI) แล้วตัดสินการลู่เข้า
โดยตั้งสมมติฐานว่าการ self-check ด้วยโมเดลเดียวกันมีจุดบอดเดียวกัน - ไปป์ไลน์ supply-chain INTAKE สำหรับสกิล/ปลั๊กอินภายนอก ที่นำเข้าได้เฉพาะหลังแยกกักกัน→สแกนแบบ static→ให้คนอ่านอย่างละเอียด→รีบิลด์
(ถือว่าคำสั่งภาษาธรรมชาติเป็นภัยคุกคามระดับเดียวกับโค้ด) - ตัวตรวจสอบใหม่จะวัดอัตรา false positive ในโหมด shadow ก่อนเลื่อนสถานะ และข้ออ้างที่ผ่านการตรวจสอบจะถูกบันทึกลง ledger
เพื่อเทียบหาความขัดแย้งอัตโนมัติ
เกต hook และตัวตรวจสอบเป็นโค้ด Python ที่รันได้จริง และมี regression test รวมอยู่ด้วย
โคลนแล้วรันได้ทันทีโดยไม่ต้องมี dependency เพิ่มเติม:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
เมื่อต่อสาย hook ด้วย settings.example.json เกตก็จะทำงานได้ในสภาพแวดล้อมของคุณเอง
ไม่ใช่ distribution แบบครบชุด แต่เป็นโครงสร้างที่ให้เลือกนำ hook·ตัวตรวจสอบไปประกอบเป็นหน่วย ๆ
เอกสารจำนวนมากเป็นภาษาเกาหลี ส่วนสถาปัตยกรรม·README เป็นภาษาอังกฤษ
ยังไม่มีความคิดเห็น