CRoM v1.0.2 ชุดเครื่องมือโอเพนซอร์ส - ลดการใช้โทเค็น · เพิ่มความเร็ว · ป้องกันการเพี้ยนของบทสนทนายาว

ขอเปิดตัวเวอร์ชันใหม่ v1.0.2 ของ CRoM (Context Rot Mitigation for Efficient LLMs) ที่ผมพัฒนาด้วยตัวเองและอัปเดตมาอย่างต่อเนื่อง

CRoM เป็นชุดเครื่องมือ Python ที่ช่วยบรรเทาปัญหา Context Rot (คำสั่งเลือนราง, การให้เหตุผลเบี่ยงเบน, การสูญเสียความจำ) ที่เกิดขึ้นในพรอมป์ต์ยาว ๆ เพื่อช่วยให้ LLM ใช้คอนเท็กซ์ได้อย่างเสถียรและมีประสิทธิภาพมากขึ้น

🔑 ฟีเจอร์หลัก:
▫️Budget Packer: บีบอัดเฉพาะข้อความสำคัญได้อย่างเสถียรภายในงบประมาณโทเค็น
▫️Hybrid Reranker: จัดเรียงเอกสารใหม่โดยอิง TF-IDF + Dense embedding
▫️Drift Estimator: ติดตามการเปลี่ยนแปลงเชิงความหมายระหว่างคำตอบ
▫️Observability: มอนิเตอร์โดยอิง Prometheus metrics
▫️การขยายผ่านปลั๊กอิน: รองรับ FlashRank, LLMLingua, Evidently
▫️Benchmarking: ประเมินผลแบบ end-to-end และวิเคราะห์ประสิทธิภาพผ่าน CLI

📊 ใน v1.0.2 ล่าสุด มีการแก้ไข ImportError และ SyntaxError, ปรับปรุงความสอดคล้องของการจัดการเวอร์ชัน, เพิ่มการทดสอบแบบรวม (10+ เคส) และยืนยันประสิทธิภาพกับเอกสารมากกว่า 1,000 รายการ

🔗 ลิงก์
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️เรื่องราวการสร้าง: https://medium.com/p/ab356e656d88