การเพิ่มความยาวคอนเท็กซ์ของ LLM

[frida]

เพื่อใช้งาน LLM ภาษาเกาหลีที่มีความยาวคอนเท็กซ์มาก จึงได้สำรวจและทดลองวิธีต่าง ๆ เพื่อเพิ่มความยาวคอนเท็กซ์ของ LLM อย่างมีประสิทธิภาพ

1. LongLoRA
   ขยายได้สูงสุด 8 เท่าด้วยการใช้ shifted sparse attention และการทำ LoRA fine-tuning

2. Rope-based Position Interpolation
   สามารถนำไปใช้กับโมเดลที่ใช้ RoPE-based embedding เช่น Llama ได้โดยปรับแก้ RoPE embedding และขยายความยาวคอนเท็กซ์ได้สูงสุด 16 เท่าผ่านการ fine-tuning

3. Dynamic NTK
   ประยุกต์ใช้ทฤษฎี NTK โดยไม่ต้อง fine-tuning และขยายได้มากกว่า 2 เท่า

4. LongLM
   ใช้ attention ที่ดัดแปลงแล้วเพื่อขยายได้สูงสุด 4 เท่าโดยไม่ต้อง fine-tuning

5. ChunkLlama
   แยกข้อความเป็น Chunk เพื่อขยายความยาวคอนเท็กซ์ของโมเดล Llama เป็น 4 เท่าโดยไม่ต้อง fine-tuning

6. Infini-attention
   สามารถขยายได้ถึง 2M ด้วยการใช้หน่วยความจำเพิ่มเพียงเล็กน้อย และทำ inference ได้รวดเร็ว เป็นวิธีที่ถูกนำไปใช้กับ Gemini-Pro

[superwoou]

นี่เป็นครั้งแรกอีกเหมือนกันที่เจอบทความซึ่งไม่มีบทสรุปเลยสักนิด