Koala: โมเดลสนทนาสำหรับงานวิจัยเชิงวิชาการ (แชตบอตบนพื้นฐาน LLaMA)

 (bair.berkeley.edu)
18 คะแนน โดย xguru 2023-04-07 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • โมเดล Koala-13B ที่ฝึก LLaMA ด้วยชุดข้อมูลบทสนทนาและคำสั่ง คล้ายกับ Alpaca
  • สร้างผลลัพธ์ที่ได้รับความนิยมมากกว่า Alpaca สำหรับคำถามที่หลากหลาย และอย่างน้อยในมากกว่าครึ่งของกรณีสามารถสร้างคำตอบแบบเดียวกับ ChatGPT ได้
  • ทำ Supervised Fine-Tuning ด้วยข้อมูลบทสนทนาโอเพนซอร์สที่รวบรวมจากเว็บ
    • บทสนทนา 60K จาก ShareGPT
    • ตัวอย่างคำถาม-คำตอบ 87K จาก HC3
    • Open Instruction Generalist (OIG)
    • ชุดข้อมูล 52K ที่ Stanford Alpaca เผยแพร่
    • Anthropic HH (160K)
    • OpenAI WebGPT (20K)
    • OpenAI Summarization (93K)

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
verilogeek 2023-04-09

เรียกได้ว่าเป็น model zoo จริง ๆ..
 
xguru 2023-04-07

LLaMA, Alpaca, Koala,.. โมเดล AI นี่เหมือนสวนสัตว์เลยนะ