ChatLLaMA - อิมพลีเมนต์โอเพนซอร์สของ ChatGPT บนพื้นฐาน LLaMA

 (github.com/nebuly-ai)
15 คะแนน โดย xguru 2023-03-02 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • LLaMA ที่ Meta เพิ่งปล่อยออกมาล่าสุดนั้น ยังไม่ได้ถูก fine-tune สำหรับกระบวนการฝึกแบบ RLHF
  • ChatLLaMA เป็นอิมพลีเมนต์ RLHF ที่ใช้ LLaMA และเป็นโอเพนซอร์สแบบครบถ้วนสำหรับสร้างบริการสไตล์ ChatGPT
  • สามารถฝึกได้เร็วกว่า ChatGPT ประมาณ 15 เท่า
  • มีการรองรับ DeepSpeed ZERO ในตัวเพื่อเพิ่มความเร็วของกระบวนการ fine-tuning
  • รองรับ LLaMA ทั้งขนาด 7B, 13B, 33B, 65B ทำให้เลือกขนาดที่เหมาะกับการใช้งานของตนเองได้

บทความที่เกี่ยวข้อง