ir - เอนจินค้นหาแบบโลคัลทางเลือกแทน qmd (รองรับการประมวลผลล่วงหน้าภาษาเกาหลี)
(github.com/vlwkaos)ผมใช้งาน qmd เดิมอยู่แล้วพบปัญหาหลายอย่าง จึงได้สร้างเอนจินค้นหาสำหรับใช้งานแบบโลคัลขึ้นมาเพื่อใช้แทน
ความไม่สะดวกที่ต้องทำ indexing/embeding ให้ทุก collection พร้อมกันใน sqlite DB เดียว
-> หากแยกส่วนนี้ออก ก็จะสามารถจัดการคอลเล็กชันตามโปรเจ็กต์ได้ และยังอัปเดตดัชนีได้ราบรื่นเมื่อมีหลาย agent ทำงานพร้อมกัน
ปัญหาที่รองรับเพียงการประมวลผลล่วงหน้าพื้นฐานที่อิงภาษาอังกฤษ
-> รองรับให้เพิ่ม preprocessor แบบอิง i/o ของคำสั่งได้โดยตรง ในรีโปนี้คง lindera-ko ซึ่งให้ประสิทธิภาพดีที่สุดหลังการเบนช์มาร์กหลายครั้งไว้ โปรดดูวิธีติดตั้งในคู่มือ
ปัญหาที่ใช้เวลานานมากในการ cold loading โมเดลสำหรับการค้นหาแบบไฮบริด เมื่อ BM25 gap test ล้มเหลว
-> มี daemon ทำงานอยู่และโหลดโมเดลค้างไว้ในหน่วยความจำ
เมื่อเทียบกับ qmd เร็วกว่าในสถานะ warm มากกว่า 20 เท่า และต่างจาก qmd ที่ไม่มีเบนช์มาร์กคะแนนความเกี่ยวข้อง จึงได้มีการปรับแต่ง score เล็กน้อยกับ corpus จริง
เป็นการเผยแพร่ครั้งแรกจึงอาจมีปัญหาเกิดขึ้นได้ หากพบปัญหารบกวนแจ้งผ่านคอมเมนต์หรือเปิด issue ไว้ จะขอบคุณมาก
คู่มือภาษาเกาหลี: https://github.com/vlwkaos/ir/blob/main/README.ko.md
2 ความคิดเห็น
ผมกังวลเพราะข้อจำกัดของ QMD มาตลอด แต่ก็น่าคาดหวังมากเลยนะครับ!
โอ้ จะใช้งานให้ดีเลย!