สถานะปัจจุบันของโมเดลภาษาโอเพนซอร์ส

• ร้อนแรงยิ่งขึ้นหลังการเปิดตัว LLaMA 2
  • แทบทุกกลุ่มโมเดลโอเพนซอร์สได้อัปเดตโมเดลของตนโดยใช้เบสโมเดลใหม่
    • WizardLM, Airoboros, Hermes เป็นต้น
  • โมเดลที่ทรงพลังที่สุดในตอนนี้คือ Stable Beluga 2 ของ StabilityAI
    • ปรับจูนละเอียดจากโมเดล Llama2 70B ด้วยชุดข้อมูลสไตล์ Orca
    • เทียบกับ ChatGPT ได้
• โมเดล Long
  • LLaMA 7B 16K, LLaMA 13B 16K, LLaMA 7B 32K
• โมเดลขนาดเล็กแต่ทรงพลัง
  • โมเดลพารามิเตอร์ 3B ที่ทรงพลังระดับ 7B
  • ยังไปไม่ถึงขีดจำกัด และยังมีสิ่งให้พัฒนาอีกมาก
  • SlimPajama, SwiGLU, ALiBI, Variable Sequence Length, Maximal update parameterization (muP)
• โมเดลเปิดชนะ ChatGPT บน MMLU : llama-2-70b-guanaco-qlora
• แชตแบบ Multi-Turn : llama2-13b-orca-8k-3319
• โมเดลจากจีนกำลังแข่งขันกัน : CodeGeex2
• โมเดลเปิดไปถึงระดับ ChatGPT แล้วหรือยัง?
  • ยังไม่ถึง แต่ก็อาจไปถึงได้ในไม่ช้า

[botplaysdice]

ดูเหมือนว่าทุกคนจะต้องคิดหนักกันมากขึ้นว่าจะหารายได้จากบทบาทของตัวเองอย่างไรในด้าน monetization

[geekbini]

ตอนนี้มีบริการ AI สารพัดแบบมากขึ้นจนเลือกไม่ถูกเลยครับ ทั้งบริการ AI แบบอเนกประสงค์ แล้วก็บริการ AI ที่ออกแบบมาเฉพาะสำหรับนักพัฒนาด้วย~

[kuroneko]

หวังว่าโมเดลภาษาเกาหลีจะพัฒนาขึ้นด้วยนะครับ