AutoRAG: เครื่องมืออัตโนมัติที่ช่วยค้นหาไปป์ไลน์ RAG ที่เหมาะสมที่สุด

• AutoRAG ช่วยปรับแต่ง RAG ให้เหมาะสมโดยอัตโนมัติ คล้ายกับที่ AutoML ช่วยปรับแต่ง ML โดยอัตโนมัติ
• RAG (Retrieval-Augmented Generation) ซึ่งช่วยให้ LLM สามารถตอบคำถามเกี่ยวกับความรู้ที่โมเดลไม่รู้มาก่อนผ่านการค้นหาจากเอกสารจำนวนหลายพันรายการ (เช่น pdf, Word ฯลฯ) กำลังได้รับความสนใจอย่างมาก
• การสร้างไปป์ไลน์ RAG ที่มีประสิทธิภาพสูงจากเอกสารจริงนั้นเป็นเรื่องยาก
• RAG ต้องใช้ชุดองค์ประกอบที่เหมาะสมแตกต่างกันไปตามข้อมูลและวัตถุประสงค์ และการหาชุดที่ดีที่สุดจำเป็นต้องทดลองและประเมินผลซ้ำหลายครั้ง
• เฉพาะ 12 โมดูลที่ AutoRAG รองรับในปัจจุบัน ก็สามารถสร้างชุดผสมของไปป์ไลน์ RAG ได้มากถึง 960 แบบ
  (ไม่รวม embedding และ language model ในการจัดชุดผสม)
• AutoRAG ช่วยปรับแต่ง RAG ให้เหมาะสมโดยอัตโนมัติ คล้ายกับที่ AutoML ช่วยปรับแต่ง ML โดยอัตโนมัติ
• ใช้งานได้เพียงแก้ไขไฟล์ YAML เล็กน้อย
• สามารถนำ RAG ที่ค้นพบว่าเหมาะสมที่สุดไปรันเป็นเซิร์ฟเวอร์ fastAPI เพื่อใช้งานได้ทันที

---

ระหว่างที่ศึกษา RAG สร้างหลายไปป์ไลน์ และทดสอบประสิทธิภาพ สิ่งที่ยากที่สุดที่ผมรู้สึกคือ “การปรับให้เหมาะกับข้อมูลแต่ละชุด”
ในแวดวงวิชาการมีการเสนอโมดูลหรือไปป์ไลน์ RAG ใหม่ ๆ ทุกวัน แต่เมื่อพยายามนำมาปรับใช้กับข้อมูลจริง กลับมีหลายกรณีที่ประสิทธิภาพไม่ดีขึ้นเลย นอกจากนี้ กระบวนการสร้างชุดข้อมูลสำหรับการประเมินจากเอกสารอย่าง pdf รวมถึงการทดลองและประเมินด้วยหลายโมดูล ก็ทั้งน่ารำคาญและเหนื่อยมาก

เราคาดว่าทีมพัฒนา RAG ส่วนใหญ่ก็น่าจะเผชิญความยากลำบากแบบเดียวกัน ทีมของเราจึงสร้าง AutoRAG แบบโอเพนซอร์สขึ้นมา หากดูที่ GitHub และ Docs ของเราแล้วทำตาม ก็จะสามารถใช้งานได้อย่างง่ายดาย

ไม่ว่าจะเป็นคนที่ตั้งใจสร้าง RAG กันมาอย่างจริงจังอยู่แล้ว หรือคนที่เพิ่งเริ่มต้นเข้าสู่โลกของ RAG ทุกคนก็น่าจะใช้งานได้อย่างพึงพอใจ!