การสรุปแบบเรียกซ้ำช่วยให้ LLMs มีหน่วยความจำสำหรับบทสนทนาระยะยาว

• งานวิจัยเกี่ยวกับวิธีใหม่ในการปรับปรุงความสามารถด้านความจำระยะยาวของโมเดลภาษาขนาดใหญ่ (LLMs) ที่ใช้ในระบบสนทนาแบบเปิด
• ปัญหาสำคัญของระบบสนทนาแบบเปิดคือการลืมข้อมูลสำคัญในการสนทนาระยะยาว
• แนวทางแก้ไขเดิมคือการฝึกตัวค้นคืนหรือเครื่องมือสรุปเฉพาะทางเพื่อดึงข้อมูลสำคัญจากเนื้อหาการสนทนา แต่ใช้เวลามากและพึ่งพาคุณภาพของข้อมูลที่มีการติดป้ายกำกับอย่างมาก
• วิธีที่นำเสนอพยายามบรรเทาปัญหานี้ด้วยการใช้ LLMs สร้างบทสรุปหรือความทรงจำแบบเรียกซ้ำ
• วิธีนี้เริ่มจากให้ LLMs จดจำบริบทการสนทนาขนาดเล็กก่อน จากนั้นใช้ความทรงจำก่อนหน้าและบริบทถัดไปเพื่อสร้างความทรงจำใหม่แบบเรียกซ้ำ
• ด้วยความช่วยเหลือของความทรงจำล่าสุด LLM สามารถสร้างคำตอบที่มีความสอดคล้องสูงมากได้
• วิธีนี้ได้รับการประเมินโดยใช้ ChatGPT และ text-davinci-003 และผลการทดลองบนชุดข้อมูลสาธารณะที่ใช้กันอย่างแพร่หลายแสดงให้เห็นว่าสามารถสร้างคำตอบที่สอดคล้องมากขึ้นในการสนทนาที่มีบริบทยาวได้
• วิธีนี้เป็นแนวทางแก้ปัญหาที่มีศักยภาพในการทำให้ LLM สามารถสร้างแบบจำลองบริบทที่ยาวมากเป็นพิเศษได้
• โค้ดและสคริปต์สำหรับวิธีนี้มีแผนจะเผยแพร่ในอนาคต
• งานวิจัยนี้ได้รับการสนับสนุนจาก Simons Foundation, สถาบันสมาชิก และผู้มีส่วนร่วมทุกคน

[GN⁺]

ความเห็นจาก Hacker News

• CodeRabbit ใช้วิธีที่คล้ายกับแนวทางที่กล่าวถึงในบทความสำหรับการรีวิว PR โดยสร้างสรุปของสรุปสำหรับแต่ละคอมมิต และอัปเดตแบบค่อยเป็นค่อยไปเมื่อมีคอมมิตเพิ่มเติม
• ผู้ใช้บางคนแสดงความสงสัยเกี่ยวกับประสิทธิภาพของการสร้างหน่วยความจำใน "พื้นที่ข้อความ" และเสนอว่าหน่วยความจำน่าจะถูกเก็บได้ดีกว่าในพื้นที่ embedding แบบหนาแน่นที่สามารถรักษาความหมายโดยรวมไว้ได้
• มีการเรียกร้องให้มีความโปร่งใสและความสามารถในการทำซ้ำในการวิจัย โดยผู้ใช้บางคนไม่เชื่อข้ออ้างดังกล่าวหากไม่สามารถเข้าถึงโค้ดและสคริปต์ที่ใช้ในการทดลองได้
• การใช้ recursive summarization ถูกนำไปใช้ในสภาพแวดล้อมการทำงานได้สำเร็จ โดยสรุป "briefing" หลายพันรายการให้เหลือข้อความห้าย่อหน้า และจัดหมวดหมู่แต่ละ briefing ตามหัวข้อและหัวข้อย่อย
• ผู้ใช้บางคนพบปัญหาที่เกี่ยวข้องกับ recursive summarization เช่น มีข้อมูลบางส่วนที่รอดผ่านทุกครั้งของการสรุป ทำให้โมเดลติดอยู่กับหัวข้อใดหัวข้อหนึ่ง
• มีคำวิจารณ์เกี่ยวกับการขาดรายละเอียดของบทความ โดยผู้ใช้บางคนมองว่าน่าผิดหวังและแทบไม่มีคุณค่าสำหรับนักพัฒนา LLM
• ผู้ใช้บางคนตั้งคำถามถึงความใหม่ของเทคนิคนี้ โดยอ้างว่าการสรุปเพื่อเป็นหน่วยความจำของประวัติแชตบนพื้นฐาน LLM เป็นเทคนิคที่มีอยู่แล้ว และการสรุปจากทุกข้อความตามที่บทความเสนอเป็นคอขวดด้านประสิทธิภาพหลัก
• มีการตั้งคำถามเกี่ยวกับการนำข้อความหน่วยความจำจากบทความไปเพิ่มเป็นส่วนหนึ่งของพรอมป์ต์ และมีข้อเสนอให้ใช้ระบบจัดเก็บ/ค้นคืนที่ไม่กินโทเคนของ context window
• เทคนิคที่กล่าวถึงในบทความถูกนำไปเปรียบเทียบกับฟีเจอร์หน่วยความจำแบบ "summary" ของ Langchain ซึ่งมีรายงานว่ามีอยู่แล้วตั้งแต่เดือนมีนาคม 2023