Meta เปิดตัว Llama 3.1

 (ai.meta.com)
10 คะแนน โดย xguru 2024-07-24 | 3 ความคิดเห็น | แชร์ทาง WhatsApp
  • รองรับความยาวคอนเท็กซ์ 128K, รองรับ 8 ภาษา และเพิ่มโมเดล 405B เข้ามา (8B, 70B, 405B)
    • โมเดล AI แบบ instruction-tuned โอเพนซอร์สที่ทุกคนสามารถ fine-tune, ปรับแต่ง และนำไป deploy ได้ทุกที่
  • โมเดล 405B ที่เปิดตัวใหม่ทำผลงานได้ใกล้เคียงหรือดีกว่า GPT-4o ในหลายเบนช์มาร์ก เช่น MMLU (ทั่วไป), Human Eval (โค้ดดิ้ง), GSM8K (คณิตศาสตร์)
    • เป็นโมเดล AI ระดับแนวหน้าทั้งด้านความยืดหยุ่นและความสามารถในการควบคุม
    • ช่วยให้ชุมชนสามารถใช้เวิร์กโฟลว์ใหม่ ๆ เช่น การสร้างข้อมูลสังเคราะห์และการกลั่นโมเดล
    • ผ่านการฝึกด้วยโทเคนมากกว่า 15 ล้านล้านโทเคน และใช้ GPU H100 มากกว่า 16,000 ตัว
  • โมเดล 70B ที่อัปเกรดแล้วเหนือกว่า GPT-3.5 Turbo อย่างชัดเจนในเบนช์มาร์กส่วนใหญ่

บทความที่เกี่ยวข้อง

3 ความคิดเห็น

 
wedding 2024-07-24

ว้าว ถ้าจะรัน 405B นี่ต้องจัดคอนฟิก GPU ยังไงกันนะ
 
gcback 2024-07-24

ดูเหมือนว่า 405B จะไม่ได้มีไว้สำหรับการฟাইনจูนหรือการให้บริการโดยตรง ซีอีโอกล่าวถึง distillation หลายครั้ง เลยคิดว่าอาจมีไว้ใช้เป็นโมเดล teacher สำหรับการฟाइनจูนเพื่อยกระดับคุณภาพของโมเดลขนาดเล็ก
 
xguru 2024-07-24

ความคิดเห็นจาก Hacker News

  • โมเดล Llama 3.1 มีประสิทธิภาพดีขึ้น

    • โมเดล 8B และ 70B มีประสิทธิภาพดีขึ้นจาก Llama 3
    • โมเดล 405B อยู่ในระดับที่สามารถแข่งขันกับ GPT-4o, GPT-4 turbo, Claude 3.5 Sonnet และ Claude 3 Opus ได้

  • เปรียบเทียบ GPT-4o กับโมเดล Llama 3.1 405B

    • MMLU: GPT-4o 88.7, Llama 3.1 405B 88.6
    • GPQA: GPT-4o 53.6, Llama 3.1 405B 51.1
    • MATH: GPT-4o 76.6, Llama 3.1 405B 73.8
    • HumanEval: GPT-4o 90.2, Llama 3.1 405B 89.0
    • MGSM: GPT-4o 90.5, Llama 3.1 405B 91.6

  • สามารถพูดคุยกับโมเดลใหม่ ๆ ได้ที่ Groq.com ด้วยความหน่วงต่ำมาก

    • เข้าถึง API ของ 8B และ 70B ได้
    • API ของ 405B เปิดให้เฉพาะลูกค้าที่ได้รับเลือกเท่านั้น

  • หากใช้ฮาร์ดแวร์ที่เหมาะสม ก็สามารถรัน LLM ที่แข่งขันกับ GPT-4o ได้ที่บ้าน

  • สามารถรันโมเดลแบบโลคัลได้ผ่าน Ollama, Huggingface, Groq เป็นต้น

    • ใช้ LLMStack เพื่อทดสอบโมเดลในเครื่องหรือสร้างแอปพลิเคชันได้อย่างรวดเร็ว

  • ลองรันเวอร์ชัน 70B บน Ollama แล้วพบว่าดีมาก

    • สามารถรันคำสั่งเพื่อปิดแนวทางกำกับและคำชี้แจงข้อจำกัดได้
    • ได้รับรายการคำสั่งที่ช่วยลดอคติที่อาจเกิดจากวิศวกร

  • Claude 3.5 Sonnet ดีมากสำหรับงานเขียนโค้ด

    • ยังดีที่สุดในเบนช์มาร์กด้านการเขียนโค้ด โดยเฉพาะเมื่อใช้ร่วมกับฟีเจอร์ Artifacts

  • สอบถามข้อมูลราคาของโมเดลโอเพนซอร์ส

    • น่าสนใจมากสำหรับการโฮสต์เอง แต่ราคาการอนุมานแบบโฮสต์ต่อโทเค็นยังแข่งขันกับ OpenAI และ Anthropic ได้ไม่ดีนัก
    • ตัวอย่าง: Llama 3 70B อยู่ที่ระหว่าง $1 ถึง $10 ต่อหนึ่งล้านโทเค็นบนหลายแพลตฟอร์ม ขณะที่ Claude Sonnet 3.5 อยู่ที่ $3 ต่อหนึ่งล้านโทเค็น