โปรเจ็กต์โค้ดประเมินโมเดล RAG ที่เบาและมีประสิทธิภาพ

Retriever Simple Benchmark ตั้งเป้าที่จะเป็น โปรเจ็กต์เบนช์มาร์กที่เบาและมีประสิทธิภาพ ซึ่งออกแบบมาเพื่อประเมิน reranker ที่จำเป็นสำหรับ RAG
ผมสร้างมันขึ้นมาเพราะจำเป็นต้องใช้เอง และกำลังพัฒนาเป็นโอเพนซอร์ส

---

Why?

มีฟีดแบ็กจำนวนมากว่าเครื่องมือเบนช์มาร์กเดิม (เช่น MTEB) ใช้งานยาก เพราะทั้งการติดตั้ง dependency และการรันค่อนข้างยุ่งยาก
เป้าหมายคือให้ใช้งานได้ง่ายมาก ด้วย dependency ขั้นต่ำ รันได้เบา ๆ และเห็นผลลัพธ์ได้ทันที

---

แนะนำรีโพซิทอรี

• ปัจจุบันรองรับ cross-encoder ที่อิงภาษาเกาหลี และมีแผนจะเพิ่มโมเดล bi-encoder ในภายหลัง
• เพื่อให้ โปรเจ็กต์ Python ดูแลรักษาได้ง่าย จึงเขียนขึ้นใหม่ด้วย astral-uv

---

วิธีใช้งาน 💻

1️⃣ ตั้งค่าสภาพแวดล้อม

make init  

2️⃣ รันใช้งาน (ปัจจุบันรองรับเฉพาะ Single GPU)

make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG  

---

แผนต่อไป 📈

• โมเดลที่รองรับเพิ่มเติม

  • โมเดล bi-encoder ที่อิง HuggingFace และ FlagEmbedding

• ชุดข้อมูลเพิ่มเติม

  • ปัจจุบันรองรับ AutoRAG และมีแผนจะเพิ่ม KURE

---

➡️ ดูโปรเจ็กต์บน GitHub
➡️ Discord ของ InstructKorea