สถานะปัจจุบันของเทคโนโลยี Retrieval-Augmented Generation (RAG) สำหรับโมเดลภาษาขนาดใหญ่

PyTorchKR

• พร้อมกับความนิยมของ LLM ความสนใจต่อ RAG ก็เพิ่มสูงขึ้นเช่นกัน ทางชุมชนผู้ใช้ PyTorch เกาหลีได้สรุป บทความสำรวจเกี่ยวกับเทคโนโลยี RAG ที่แนะนำไว้ใน งานวิจัย ML เด่นประจำสัปดาห์ 12/18~24

• เนื้อหาค่อนข้างยาวจึงแบ่งเผยแพร่เป็น 2 บทความ โดย ภาค 1 ว่าด้วยพาราไดม์ของเทคโนโลยี RAG และ ภาค 2 ว่าด้วยองค์ประกอบหลัก การประเมินผล และโจทย์วิจัยในอนาคต

ด้านล่างนี้เป็นการคัดเฉพาะประเด็นสำคัญโดยยึดตามสารบัญ

---

แนะนำเทคโนโลยี Retrieval-Augmented Generation (RAG)

โมเดลภาษาขนาดใหญ่ (LLM) แสดงความสามารถที่โดดเด่น แต่เพื่อการใช้งานจริงยังต้องเอาชนะปัญหาอย่างอาการหลอนของโมเดล การอัปเดตความรู้ที่ล่าช้า และการขาดความโปร่งใสของคำตอบ RAG (Retrieval-Augmented Generation) คือเทคโนโลยีที่ถูกเสนอขึ้นเพื่อแก้ปัญหาเหล่านี้

RAG คือวิธีที่ในโมเดลภาษาขนาดใหญ่ (LLM) จะค้นหาข้อมูลที่เกี่ยวข้องจากชุดเอกสารขนาดใหญ่ก่อนสร้างคำตอบหรือข้อความสำหรับคำถาม แล้วจึงนำข้อมูลนั้นมาใช้ในการสร้างคำตอบ โดยมุ่งแก้ปัญหาเดิมของ LLM ได้แก่ ความรู้ที่ล้าสมัย การขาดความรู้เฉพาะโดเมน และการขาดความโปร่งใสของคำตอบ

RAG ช่วยเพิ่มความแม่นยำของคำตอบได้อย่างมาก และมีประโยชน์อย่างยิ่งในการลดอาการหลอนของโมเดล โดยเฉพาะในงานที่ใช้ความรู้เข้มข้น ผู้ใช้สามารถตรวจสอบความถูกต้องของคำตอบผ่านการอ้างอิงแหล่งที่มาได้ ซึ่งช่วยเพิ่มความเชื่อมั่นต่อผลลัพธ์ของโมเดล นอกจากนี้ยังเอื้อต่อการอัปเดตความรู้และการนำความรู้เฉพาะสาขาเข้ามาใช้

นอกเหนือจาก RAG ยังสามารถใช้ fine-tuning เพื่อทำให้โมเดลภาษาขนาดใหญ่มุ่งเน้นความรู้เฉพาะด้านได้ แต่การ fine-tuning แบบนี้ต้องใช้เวลาในการสะท้อนข้อมูลที่อัปเดตแบบเรียลไทม์ และยังสิ้นเปลืองทรัพยากรเพิ่มเติมในการฝึกโมเดลใหม่ เมื่อเทียบกันแล้ว RAG มีลักษณะคล้ายการมอบ “หนังสืออ้างอิง” ให้ LLM สำหรับค้นหาข้อมูลตามคำถามเฉพาะ

3 พาราไดม์หลักของ RAG - ภาพรวม

พาราไดม์การวิจัยของเทคโนโลยี RAG พัฒนาอย่างต่อเนื่องตามเวลา พาราไดม์หลักมี 3 แบบ ได้แก่ RAG พื้นฐาน, RAG ขั้นสูง และ RAG แบบโมดูลาร์ โดย RAG พื้นฐานในยุคแรกมีความคุ้มค่าและให้ประสิทธิภาพดีกว่าการใช้ LLM เพียงอย่างเดียว แต่ก็มีข้อเสียอยู่มาก การเกิดขึ้นของ RAG ขั้นสูงและ RAG แบบโมดูลาร์มีขึ้นเพื่อแก้ข้อบกพร่องบางประการของ RAG พื้นฐาน

3 พาราไดม์หลักของ RAG - RAG พื้นฐาน (Naive RAG)

RAG พื้นฐานหมายถึงแนวทางระยะแรกของงานวิจัย RAG ซึ่งประกอบด้วยกระบวนการ indexing, retrieval และ generation แบบดั้งเดิม โดยมุ่งเน้นไปที่วิธีค้นหาและสร้างคำตอบอย่างเรียบง่าย และมีความสำคัญต่อการอธิบายแนวคิดและหลักการพื้นฐานของ RAG

อย่างไรก็ตาม อาจเกิดการทำซ้ำที่ไม่จำเป็น ข้อมูลไม่แม่นยำ หรือการผสานบริบทที่ผิดพลาด อันเป็นผลมาจากความแม่นยำของการค้นหาที่ต่ำ คุณภาพการสร้างคำตอบที่ต่ำ และความยากของกระบวนการ augmentation ดังนั้น RAG พื้นฐานอาจไม่เหมาะกับการใช้งานในสถานการณ์ที่ซับซ้อนหรือท้าทาย

3 พาราไดม์หลักของ RAG - RAG ขั้นสูง (Advanced RAG)

RAG ขั้นสูงเป็นพาราไดม์ที่พัฒนาขึ้นเพื่อปรับปรุงข้อบกพร่องของ RAG พื้นฐาน โดยหลักแล้วครอบคลุมวิธีก่อนและหลังการค้นหาเพื่อยกระดับคุณภาพของการค้นหาและการสร้างคำตอบ RAG ขั้นสูงสามารถแบ่งออกได้เป็น 3 ขั้น ได้แก่ กระบวนการก่อนการค้นหา (Pre-Retrieval Process), กระบวนการหลังการค้นหา (Post-Retrieval Process) และการเพิ่มประสิทธิภาพ pipeline ของ RAG (RAG Pipeline Optimization):

3 พาราไดม์หลักของ RAG - RAG แบบโมดูลาร์ (Modular RAG)

RAG แบบโมดูลาร์เป็นรูปแบบที่พัฒนาต่อจาก RAG ขั้นสูง โดยก้าวไปไกลกว่ากรอบงาน RAG เดิมด้วยการผสานโมดูลและความสามารถที่หลากหลาย เพื่อมอบความหลากหลายและความยืดหยุ่นที่มากขึ้น แนวทางนี้ประกอบด้วยโมดูลและแพตเทิร์นใหม่หลายแบบที่ช่วยให้สามารถปรับระบบ RAG ให้เหมาะกับสถานการณ์และความต้องการที่แตกต่างกันได้

องค์ประกอบหลักของเทคโนโลยี RAG: ตัวค้นคืนข้อมูล (Retriever)

ตัวค้นคืนข้อมูล (Retriever) มีบทบาทสำคัญในการสำรวจข้อมูลภายในระบบ ถึงขั้นเป็นตัว R ซึ่งเป็นอักษรตัวแรกของคำย่อ RAG หน้าที่ของมันคือค้นหาข้อมูลที่เกี่ยวข้องจากชุดข้อมูลขนาดใหญ่และเตรียมข้อมูลสำหรับการสร้างข้อความ สิ่งนี้ถูกใช้เพื่อเชื่อมช่องว่างระหว่างความรู้ทั่วไปของ LLM กับความต้องการข้อมูลที่เป็นปัจจุบันและถูกต้องตามบริบท ซึ่งมีความสำคัญอย่างยิ่งในสถานการณ์ที่ต้องใช้ข้อมูลเรียลไทม์ ความรู้เชิงผู้เชี่ยวชาญเฉพาะสาขา หรือการตรวจสอบข้อเท็จจริง

องค์ประกอบหลักของเทคโนโลยี RAG: ตัวสร้างคำตอบ (Generator)

หากบทบาทของตัวค้นคืนข้อมูล (Retriever) ที่กล่าวไปก่อนหน้านี้คือการดึงเอกสารผู้สมัครจากอินพุตของผู้ใช้ บทบาทของตัวสร้างคำตอบ (Generator) คือการใช้ผลการค้นคืนเพื่อสร้างคำตอบที่จะส่งให้ผู้ใช้ เพื่อให้สามารถใช้ข้อมูลที่ค้นคืนมาได้อย่างมีประสิทธิภาพและสร้างคำตอบที่ถูกต้องและเกี่ยวข้อง จึงมีการทำทั้งกระบวนการหลังการประมวลผล เช่น การบีบอัดข้อมูลและการจัดอันดับใหม่ รวมถึงกระบวนการเพิ่มประสิทธิภาพให้เหมาะกับข้อมูลนำเข้า

องค์ประกอบหลักของเทคโนโลยี RAG: วิธีการเสริมข้อมูล (Augmentation Methods)

ในบทนี้ เราจะพิจารณาวิธีการเสริมข้อมูลใน RAG ผ่าน 3 มุมมองต่อไปนี้

• ขั้นของการเสริมข้อมูล (the stage of augmentation)
• การเสริมแหล่งข้อมูล (augmentation data sources)
• กระบวนการเสริมข้อมูล (the process of augmentation)

การประเมินผล RAG (RAG Evaluation)

การประเมินผล RAG (RAG Evaluation) คือการประเมินว่า RAG ทำงานได้มีประสิทธิภาพเพียงใด โดยการประเมินแบ่งได้ใหญ่ ๆ เป็น 2 ประเภท คือ การประเมินแบบแยกอิสระ (independent evaluation) สำหรับแต่ละโมดูล เช่น retriever หรือ generator และการประเมินแบบ end-to-end (end-to-end evaluation; การประเมินตั้งแต่ต้นจนจบ) ที่ประเมินทั้งกระบวนการตั้งแต่อินพุตไปจนถึงเอาต์พุต เราจะมาดูวิธีประเมินแต่ละแบบ รวมถึงตัวชี้วัด (metric) และ framework ที่สามารถใช้ได้

อนาคตของ RAG (Future Prospects)

กล่าวถึงการเพิ่มประสิทธิภาพในแนวดิ่ง การขยายในแนวนอน และระบบนิเวศของ RAG

---

⚠️โฆษณา: บทความที่ชุมชนผู้ใช้ PyTorch เกาหลีสรุปไว้นี้มีประโยชน์กับคุณไหม? หาก สมัครสมาชิก เราจะส่งบทความสำคัญให้ทางอีเมล! (ค่าเริ่มต้นคือ Weekly แต่คุณสามารถ เปลี่ยนเป็น Daily ได้เช่นกัน)

[959ma]

ขอบคุณสำหรับการแบ่งปันข้อมูลดีๆ

[ninebow]

อ๊ะ ขอบคุณที่ช่วยอ่านนะครับ!
หากระหว่างอ่านพบส่วนที่แปลกหรือผิดพลาด รบกวนช่วยบอกให้ทราบด้วยนะครับ ^^;