Meta เปิดตัว Llama 3.2 - เทคโนโลยีที่ปฏิวัติ Edge AI และวิสัยทัศน์ด้วยโมเดลแบบเปิดที่ปรับแต่งได้

 (ai.meta.com)
11 คะแนน โดย GN⁺ 2024-09-26 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • Meta เปิดตัว Llama 3.2

    • รวมถึงวิชัน LLM ขนาดเล็กและขนาดกลาง (11B และ 90B) และโมเดลเฉพาะข้อความแบบน้ำหนักเบา (1B และ 3B)
    • ใช้งานได้บนฮาร์ดแวร์ของ Qualcomm และ MediaTek และปรับแต่งให้เหมาะกับโปรเซสเซอร์ Arm
    • เป็นโมเดลที่เหมาะสำหรับงานสรุป ทำตามคำสั่ง และการเขียนใหม่

  • คุณสมบัติของโมเดล Llama 3.2

    • โมเดลวิชัน 11B และ 90B โดดเด่นในงานทำความเข้าใจภาพ
    • ปรับจูนละเอียดสำหรับแอปพลิเคชันแบบกำหนดเองได้ด้วย torchtune
    • ดีพลอยภายในเครื่องได้ด้วย torchchat
    • ใช้งานได้ผ่านผู้ช่วยอัจฉริยะ Meta AI

  • การดีพลอย Llama Stack

    • ทำให้การทำงานกับโมเดล Llama ง่ายขึ้นในสภาพแวดล้อมแบบโหนดเดี่ยว, on-premises, คลาวด์ และ on-device
    • ดีพลอยร่วมกับ AWS, Databricks, Dell Technologies, Fireworks, Infosys และ Together AI

  • ดาวน์โหลดโมเดล Llama 3.2

    • ดาวน์โหลดได้จาก llama.com และ Hugging Face
    • เริ่มพัฒนาได้ทันทีบนแพลตฟอร์มพาร์ตเนอร์ เช่น AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud และ Snowflake

  • ประสิทธิภาพของ Llama 3.2

    • โมเดล 11B และ 90B เหมาะกับงานทำความเข้าใจระดับเอกสาร, การสร้างคำบรรยายภาพ และงานที่อิงกับการมองเห็น
    • โมเดล 1B และ 3B รองรับการสร้างข้อความหลายภาษาและความสามารถในการเรียกใช้เครื่องมือ
    • เมื่่อรันบนเครื่องภายใน ให้การตอบสนองทันทีและรักษาความเป็นส่วนตัวได้สูง

  • การประเมินโมเดล

    • ประเมินประสิทธิภาพบนชุดข้อมูลเบนช์มาร์กมากกว่า 150 ชุด
    • มีประสิทธิภาพแข่งขันได้กับ Claude 3 Haiku และ GPT4o-mini

  • โมเดลวิชัน

    • นำสถาปัตยกรรมโมเดลใหม่มาใช้เพื่อรองรับอินพุตภาพ
    • คงความสามารถเฉพาะข้อความไว้ พร้อมผสานพรอมป์ตภาพและข้อความเพื่อให้เข้าใจและให้เหตุผลได้ลึกยิ่งขึ้น

  • โมเดลน้ำหนักเบา

    • พัฒนาโมเดล 1B และ 3B ด้วยวิธีการ pruning และ knowledge distillation
    • รันได้อย่างมีประสิทธิภาพบนเครื่องภายใน

  • การดีพลอย Llama Stack

    • มอบอินเทอร์เฟซมาตรฐานผ่าน Llama Stack API
    • ทำให้การทำงานกับโมเดล Llama ง่ายขึ้นในสภาพแวดล้อมที่หลากหลาย

  • ความปลอดภัยระดับระบบ

    • เปิดตัว Llama Guard 3 11B Vision
    • โมเดล Llama Guard 3 1B ช่วยลดต้นทุนการดีพลอยได้อย่างมาก

  • การใช้งาน Llama 3.2

    • มอบเครื่องมือและทรัพยากรที่จำเป็นให้แก่นักพัฒนา
    • ใช้ Llama 3.2 และ Llama Stack เพื่อพัฒนาแอปพลิเคชันที่สร้างนวัตกรรมได้

สรุปโดย GN⁺

  • Llama 3.2 นำเสนอทั้งโมเดลวิชันและโมเดลข้อความที่หลากหลาย รวมถึงโมเดลน้ำหนักเบาที่สามารถรันได้บนอุปกรณ์ edge และอุปกรณ์พกพา
  • ด้วยความร่วมมือกับ Qualcomm, MediaTek และ Arm จึงมอบประสิทธิภาพที่ปรับแต่งมาอย่างเหมาะสมบนฮาร์ดแวร์หลากหลายประเภท
  • การดีพลอย Llama Stack ช่วยให้นักพัฒนาสามารถใช้งานโมเดล Llama ได้ง่ายในสภาพแวดล้อมที่หลากหลาย
  • Llama 3.2 ให้ทั้งความเป็นส่วนตัวสูงและการตอบสนองฉับไว จึงเหมาะกับการพัฒนาแอปพลิเคชันที่รันภายในเครื่อง
  • มีประสิทธิภาพที่สามารถแข่งขันกับ Claude 3 Haiku และ GPT4o-mini และพิสูจน์ความสามารถที่โดดเด่นผ่านเบนช์มาร์กหลากหลายรายการ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-26
ความคิดเห็นจาก Hacker News

  • ทึ่งกับประสิทธิภาพของโมเดล 1B ใหม่ ขนาดดาวน์โหลดเพียง 1.3GB

    • ลองใช้สรุปโค้ดเบสทั้งชุดแล้ว แม้จะไม่สมบูรณ์แบบ แต่สำหรับโมเดลเล็กถือว่าทำได้อย่างน่าทึ่ง
    • ดูบันทึกเพิ่มเติมได้ที่นี่
    • ลองโมเดลภาพขนาดใหญ่กว่าด้วย สามารถอัปโหลดภาพผ่าน "Direct Chat" บน lmarena.ai ได้

  • ในตัวอย่าง "The Llama jumped over the ______!" ถ้าใช้ 1-hot encoding คำตอบที่ถูกคือ "wall" ด้วยความน่าจะเป็น 100%

    • ถ้าบอกว่า "fence" ก็เป็นไปได้ด้วย ก็ถือว่าผิด คิดว่านี่คือเหตุผลที่ model distillation ทำงานได้ดี
    • โมเดลต้นฉบับเรียนรู้ผ่านคำตอบแบบข้อความ แต่โมเดลลูกเรียนรู้ที่จะให้คำตอบที่มีความหมายมากขึ้นด้วยการเลียนแบบการพยากรณ์
    • เข้าใจแล้วว่าทำไม Llama 3.2 ของ Meta ถึงเล็กแต่ทรงพลัง รู้สึกทึ่งกับพัฒนาการของโมเดล

  • ชื่นชมความเปิดกว้างของทีม Llama ที่ Meta ไม่ใช่แค่ให้เข้าถึงโมเดล แต่ยังเปิดเผยวิธีการสร้างด้วย

    • แม้จะไม่รู้ว่าโมเดลในอนาคตจะเป็นอย่างไร แต่ก็ขอบคุณท่าทีที่เปิดกว้างของ Meta

  • คำถามจากมือใหม่: ต้องการโมเดลที่มีความสามารถด้านวิศวกรรมซอฟต์แวร์มากกว่าคน 10 เท่า โดยไม่จำเป็นต้องมีความรู้แบบมนุษย์ อยากรู้ว่ามีโมเดลแบบนั้นหรือไม่

  • ลองใช้โมเดล 3B บน Ollama แล้ว ตอบคำถามด้านออปติก ชีววิทยา และ Rust ได้เร็วและมีความรู้มาก

    • เป็นโมเดลที่น่าประทับใจมาก

  • บล็อกโพสต์ของ Ollama: ลิงก์

  • โมเดล llama3.2:3b-instruct-q8_0 ทำงานได้ดีกว่า 3.1 8b-q4 บน MacBook Pro M1 ทั้งเร็วกว่าและผลลัพธ์ก็ดีกว่า

    • ให้คำตอบสำหรับปริศนาและการทดลองทางความคิดบางอย่างได้ดีกว่า
    • ลบการติดตั้ง 3.1-8b ออกแล้ว
    • รายการ Ollama ปัจจุบัน:
      • llama3.2:3b-instruct-q8_0: 3.4GB, แก้ไขเมื่อ 2 ชั่วโมงก่อน
      • gemma2:9b-instruct-q4_1: 6.0GB, แก้ไขเมื่อ 3 วันก่อน
      • phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, แก้ไขเมื่อ 3 วันก่อน
      • mxbai-embed-large:latest: 669MB, แก้ไขเมื่อ 3 เดือนก่อน

  • ถามว่าสามารถแนะนำเว็บ UI client สำหรับ Ollama ได้ไหม

  • ถามว่ามี leaderboard ที่รวม benchmark ของ LLM ล่าสุดหรือไม่

    • Livebench และ Lmsys ช้ากว่าปัจจุบันอยู่หลายสัปดาห์และไม่ได้เพิ่มโมเดลหลัก
    • ถ้ายังไม่มี ก็ยินดีจะทำเอง

  • โมเดล 3B ทำงานแบบมัลติโหมดได้ค่อนข้างดี (ภาษานอร์เวย์) แต่บางครั้งก็ตอบไร้สาระยาวมาก ไวต่อปัญหามากกว่า 8B แต่ยังใช้งานได้มากกว่า Gemma 2 2B

    • ใช้ตอบคำถามเรื่องการ sort list ใน Python ได้โอเค
    • โมเดลวิชัน 90B ปฏิเสธงานที่มีประโยชน์ ไม่สามารถสร้างภาพขึ้นใหม่เป็น HTML หรือใช้ข้อมูลภาพให้เกิดประโยชน์ได้
    • ไม่เคยเจอปัญหานี้กับ 70B หรือ OpenAI มีการปฏิเสธมากเกินไป