เปิดตัวตัวเร่งความเร็ว AI Intel Gaudi 3

 (intel.com)
8 คะแนน โดย GN⁺ 2024-04-10 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • แนะนำตัวเร่งความเร็ว AI Intel Gaudi 3

    • Intel เปิดตัวตัวเร่งความเร็ว AI Intel Gaudi 3 ในงาน Intel Vision ที่จัดขึ้นเมื่อวันที่ 9 เมษายน 2024 ที่เมืองฟีนิกซ์ รัฐแอริโซนา
    • ให้ประสิทธิภาพการประมวลผล AI สำหรับ BF16 สูงขึ้น 4 เท่า และเพิ่มแบนด์วิดท์หน่วยความจำ 1.5 เท่าเมื่อเทียบกับรุ่นก่อนหน้า
    • มอบทางเลือกให้ลูกค้าผ่านซอฟต์แวร์แบบชุมชนทั่วไปและอีเธอร์เน็ตมาตรฐานอุตสาหกรรม พร้อมรองรับการขยายระบบได้อย่างยืดหยุ่นมากขึ้น

  • เหตุใด Gaudi 3 จึงสำคัญ

    • องค์กรในภาคส่วนสำคัญ เช่น การเงิน การผลิต และการแพทย์ กำลังขยายการเข้าถึง AI และเร่งเปลี่ยนโครงการ generative AI (GenAI) จากขั้นทดลองไปสู่การใช้งานในวงกว้างอย่างรวดเร็ว
    • การจัดการการเปลี่ยนผ่านนี้ กระตุ้นนวัตกรรม และบรรลุเป้าหมายการเพิ่มรายได้ จำเป็นต้องอาศัยโซลูชันและผลิตภัณฑ์ที่เปิดกว้าง คุ้มค่า และมีประสิทธิภาพด้านพลังงานสูง
    • ตัวเร่งความเร็ว Intel Gaudi 3 ถูกออกแบบมาเพื่อตอบโจทย์เหล่านี้ และสนับสนุนให้องค์กรสามารถขยายระบบและแอปพลิเคชัน AI ได้อย่างยืดหยุ่น ผ่านซอฟต์แวร์แบบชุมชนที่เปิดกว้างและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด

  • สถาปัตยกรรมแบบเฉพาะทางมอบประสิทธิภาพและความคุ้มค่าสำหรับ GenAI ได้อย่างไร

    • ตัวเร่งความเร็ว Intel Gaudi 3 ถูกออกแบบมาสำหรับงานประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ และผลิตด้วยกระบวนการ 5nm จึงก้าวหน้าขึ้นอย่างมากจากรุ่นก่อนหน้า
    • ออกแบบให้สามารถเปิดใช้งานทุกเอนจินแบบขนานได้ เพื่อเร่งการประมวลผล deep learning ที่รวดเร็วและมีประสิทธิภาพ รวมถึงการสเกลระบบตามต้องการ
    • คุณสมบัติหลัก:
      • เอนจินประมวลผลเฉพาะสำหรับ AI: มาพร้อมเอนจินประมวลผลแบบต่างชนิดที่ประกอบด้วย TPC แบบโปรแกรมได้ที่ปรับแต่งสำหรับ AI จำนวน 64 ชุด และ MME จำนวน 8 ชุด
      • เพิ่มหน่วยความจำเพื่อตอบโจทย์ความต้องการของ LLM: ให้หน่วยความจำ 128GB HBMe2, แบนด์วิดท์หน่วยความจำ 3.7TB และ on-board SRAM ขนาด 96MB
      • ขยายระบบอย่างมีประสิทธิภาพสำหรับ GenAI ระดับองค์กร: รวมพอร์ตอีเธอร์เน็ต 200Gb จำนวน 24 พอร์ต เพื่อมอบเครือข่ายแบบยืดหยุ่นและยึดตามมาตรฐานเปิด
      • ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อเพิ่มประสิทธิภาพนักพัฒนา: ผสานการทำงานกับเฟรมเวิร์ก PyTorch และมีโมเดลจากชุมชน Hugging Face ที่ปรับแต่งแล้ว
    • ฟังก์ชันเสริมของ Gaudi 3 PCIe: ฟอร์มแฟกเตอร์ใหม่ที่เหมาะสำหรับ fine-tuning, inference และ retrieval-augmented generation (RAG)

  • การยอมรับในตลาดและการวางจำหน่าย

    • ตัวเร่งความเร็ว Intel Gaudi 3 มีกำหนดส่งมอบให้ผู้ผลิต OEM ในไตรมาส 2 ปี 2024 ในรูปแบบคอนฟิกมาตรฐานอุตสาหกรรมทั้ง Universal Baseboard และ Open Accelerator Module (OAM)
    • มี OEM รายใหญ่เตรียมนำไปใช้ เช่น Dell Technologies, Hewlett Packard Enterprise, Lenovo และ Supermicro
    • คาดว่าตัวเร่งความเร็ว Intel Gaudi 3 จะพร้อมวางจำหน่ายทั่วไปในไตรมาส 3 ปี 2024 และการ์ดเสริม Intel Gaudi 3 PCIe add-in card คาดว่าจะพร้อมในไตรมาส 4 ปี 2024
    • โครงสร้างพื้นฐานคลาวด์ LLM ที่เน้นความคุ้มค่าหลายแห่ง รวมถึง NAVER มีแผนใช้งานตัวเร่งความเร็ว Intel Gaudi 3

  • แผนในอนาคต

    • แรงส่งของ Intel Gaudi 3 จะเป็นฐานสำคัญให้กับ Falcon Shores ซึ่งเป็น GPU รุ่นถัดไปของ Intel สำหรับ AI และ HPC
    • Falcon Shores มีแผนจะรวม Intel Gaudi และ Intel Xe IP เข้าด้วยกัน และมอบอินเทอร์เฟซการเขียนโปรแกรม GPU แบบเดี่ยวที่อิงตามข้อกำหนด Intel oneAPI

ความเห็นของ GN⁺

  • Intel Gaudi 3 แสดงให้เห็นถึงการปรับปรุงอย่างมีนัยสำคัญในด้านประสิทธิภาพการฝึกและการอนุมานของโมเดล GenAI เมื่อเทียบกับคู่แข่งหลักอย่าง Nvidia H100 และ H200 ทำให้มีโอกาสวางตัวเป็นทางเลือกที่ท้าทายสถานะกึ่งผูกขาดของ Nvidia ในตลาด AI
  • การรองรับซอฟต์แวร์แบบเปิดและการขยายระบบบนมาตรฐานเปิด อาจช่วยเพิ่มความคุ้มค่าและลดความเสี่ยงจาก vendor lock-in สำหรับองค์กร โดยเฉพาะบริษัทที่ต้องการสร้างระบบ AI ขนาดใหญ่ ซึ่งอาจมองว่าเป็นตัวเลือกที่น่าสนใจ
  • อย่างไรก็ตาม ในช่วงไม่กี่ปีที่ผ่านมา Intel เผชิญความท้าทาย เช่น ความสามารถในการแข่งขันที่อ่อนลงในตลาด CPU และความล่าช้าในการออกผลิตภัณฑ์ จึงยังต้องติดตามว่า Gaudi 3 จะเปิดตัวได้ตามกำหนดและได้รับการนำไปใช้อย่างกว้างขวางจากลูกค้าหรือไม่
  • ขณะเดียวกัน ตลาดชิป AI ก็กำลังจะมีการแข่งขันที่เข้มข้นขึ้นจากผลิตภัณฑ์คู่แข่งอย่าง AMD Instinct MI300 ทำให้ปัจจัยชี้ขาดจะไม่ใช่แค่ความได้เปรียบทางเทคนิค แต่รวมถึงการสร้างระบบนิเวศซอฟต์แวร์และการได้มาซึ่งลูกค้าด้วย

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-04-10
ความเห็นจาก Hacker News
  • การใช้อินเทอร์เฟซ OAM น่าจะทำให้กลุ่มผู้ชื่นชอบยังสามารถนำอุปกรณ์นี้ไปใช้ได้แม้อีก 8~10 ปีข้างหน้า
  • ยังสงสัยว่า Intel จะสนับสนุนผลิตภัณฑ์ตระกูลนี้อย่างต่อเนื่องในระยะยาวหรือไม่
  • ใช้หน่วยความจำ HBM2e ซึ่งเคยถูกใช้ใน Nvidia A100 ที่ออกในปี 2020 จึงไม่ใช่ของใหม่ล่าสุด แต่ด้วยการใช้ 8 สแตกทำให้แบนด์วิดท์ทัดเทียมกับ H100
  • สนใจว่าราคาของ Gaudi 3 PCIe จะสมเหตุสมผลพอสำหรับติดตั้งในเวิร์กสเตชันหรือไม่
  • ขอบคุณที่ประกาศนี้ใช้หลัก 5Ws และ H
  • ดูเหมือนว่า Gaudi 3 จะผลิตด้วยกระบวนการ 5nm ที่ TSMC หรือ Samsung
  • จากการมาของสถาปัตยกรรมแบบ sparse เช่น MoE ทำให้ความจุ 128GB ดูมีความสำคัญ และน่าจะไปแข่งขันกับ Nvidia ได้
  • คาดหวังว่าจะได้เห็นการทดสอบ MLPerf สำหรับ AMD MI300x ด้วย
  • การรวมพอร์ตอีเทอร์เน็ต 200Gb จำนวน 24 พอร์ตนั้นน่าประทับใจ แต่ก็ชวนให้ผิดหวังเมื่อคำนึงถึงต้นทุนสายเคเบิลและปัจจัยอื่น ๆ
  • การใช้ "terabytes (TB)" เป็นหน่วยของแบนด์วิดท์หน่วยความจำนั้นดูแปลกดี