MI300X ของ AMD เหนือกว่า H100 ของ Nvidia ในงาน LLM inference

ประสิทธิภาพของ AMD MI300X ที่เหนือกว่า NVIDIA H100

เนื้อหาสำคัญ

• ตัวเร่งความเร็ว MI300X ของ AMD: ตัวเร่งความเร็ว MI300X รุ่นล่าสุดของ AMD แสดงประสิทธิภาพที่เหนือกว่า NVIDIA H100
• ความร่วมมือระหว่าง TensorWave และ MK1: ตลอดหนึ่งเดือนที่ผ่านมา TensorWave และ MK1 ได้ร่วมมือกันเพื่อปรับแต่งประสิทธิภาพ AI inference บนฮาร์ดแวร์ของ AMD
• สถาปัตยกรรม MoE: ใช้สถาปัตยกรรม Mixture of Expert (MoE) ในการทดสอบประสิทธิภาพ โดย MoE ถูกนำไปใช้กับโอเพนซอร์ส LLM ประสิทธิภาพสูงจาก Mistral, Meta, Databricks, X.ai และรายอื่น ๆ
• ผลลัพธ์เบื้องต้น: เมื่อใช้ซอฟต์แวร์ inference ของ MK1 นั้น MI300X ทำ throughput ได้สูงกว่า H100 SXM ถึง 33% เมื่อรัน vLLM บน Mixtral 8x7B
• ความสามารถในการแข่งขัน: แม้ ecosystem ด้านซอฟต์แวร์ของ NVIDIA จะพัฒนามากกว่า แต่ AMD กำลังก้าวขึ้นมาเป็นคู่แข่งที่แข็งแกร่งในตลาด AI เมื่อพิจารณาทั้งความพร้อมใช้งานของฮาร์ดแวร์และต้นทุน MI300X จึงเป็นตัวเลือกที่น่าสนใจสำหรับองค์กรที่รัน inference ขนาดใหญ่บนคลาวด์
• แนวโน้มในอนาคต: คาดว่าความได้เปรียบด้านประสิทธิภาพของ AMD จะเพิ่มขึ้นอีกจากการปรับแต่งเพิ่มเติม

ความเห็นของ GN⁺

• โอกาสในการเพิ่มประสิทธิภาพ: แม้จะเป็นเพียงผลลัพธ์เบื้องต้น แต่ MI300X ของ AMD ก็แสดงให้เห็นถึงประสิทธิภาพในระดับสูง และยังมีโอกาสทำได้ดียิ่งขึ้นจากการปรับแต่งเพิ่มเติม
• ความสามารถในการแข่งขันในตลาด: แม้ ecosystem ซอฟต์แวร์ของ NVIDIA จะพัฒนามากกว่า แต่ฮาร์ดแวร์ของ AMD ที่ให้ประสิทธิภาพแข่งขันได้อาจช่วยเสริมสถานะของบริษัทในตลาด
• ความคุ้มค่าด้านต้นทุน: ในแง่ของความพร้อมใช้งานของฮาร์ดแวร์และต้นทุน MI300X อาจเป็นตัวเลือกที่ดีกว่า ซึ่งเป็นปัจจัยสำคัญโดยเฉพาะสำหรับองค์กรที่ทำงาน inference ขนาดใหญ่
• ข้อพิจารณาในการนำเทคโนโลยีมาใช้: เมื่อนำฮาร์ดแวร์ใหม่มาใช้งาน ความเข้ากันได้ของซอฟต์แวร์และการปรับแต่งเป็นปัจจัยสำคัญ หากเลือกใช้ AMD MI300X อาจต้องใช้ความพยายามเพิ่มเติมในช่วงตั้งค่าและปรับแต่งเบื้องต้น
• ผลิตภัณฑ์คู่แข่ง: นอกจาก NVIDIA H100 แล้ว ยังมีผลิตภัณฑ์ตัวเร่ง AI อื่น ๆ เช่น TPU ของ Google หรือ Habana Labs accelerator ของ Intel การเปรียบเทียบคุณสมบัติและประสิทธิภาพของแต่ละผลิตภัณฑ์เพื่อเลือกสิ่งที่เหมาะสมที่สุดจึงเป็นเรื่องสำคัญ

[GN⁺]

ความเห็นจาก Hacker News

• TensorWave เป็นผู้ให้บริการคลาวด์ที่เชี่ยวชาญด้านเวิร์กโหลด AI และมอบประสิทธิภาพสูงด้วยการใช้ตัวเร่ง AMD Instinct™ MI300X
• การใช้เบนช์มาร์กโทเค็นอินพุต 128 ในปี 2024 ไม่ได้เป็นตัวแทนของเวิร์กโหลดส่วนใหญ่ และประสิทธิภาพช่วง prefill มีความสำคัญมาก
• จำเป็นต้องมีการแข่งขัน และปัจจุบันมูลค่าตลาดของ Nvidia อยู่ที่ราว 0.6 ล้านล้านดอลลาร์ สูงกว่าตลาดหลักทรัพย์แฟรงก์เฟิร์ตทั้งแห่ง
• ตลาดและราคาขายสะท้อนมูลค่าของโซลูชัน Nvidia และ AMD ซึ่งรวมถึงเครื่องมือ ซอฟต์แวร์ ต้นทุนรวมในการเป็นเจ้าของ (TCO) และความสามารถในการจัดการ
• สงสัยว่ามีหลายบริษัทจริงหรือไม่ที่ยอมจ่ายเงินจำนวนมากเพื่อรันโมเดลพารามิเตอร์ 8x 7B แบบขนาน และสงสัยว่าสามารถฝึกโมเดล 14B บนตัวเร่งเพียงตัวเดียวได้หรือไม่
• AMD และบริษัทอื่น ๆ กำลังพยายามเอาชนะ Nvidia ด้วยการเลือกใช้เบนช์มาร์กแบบคัดเฉพาะ และใช้โมเดลเปรียบเทียบจากรุ่นกึ่งกลาง
• ในฐานะนักวิทยาศาสตร์ AI มองว่า AMD ถูกประเมินค่าต่ำเกินไปเมื่อเทียบกับ Nvidia ชิปอาจไม่เร็วเท่า Nvidia แต่คุ้มค่ากว่าในอุตสาหกรรมส่วนใหญ่และให้ผลลัพธ์ใกล้เคียงกัน
• สงสัยว่าการตั้งค่า tensor parallel มีผลต่อประสิทธิภาพหรือไม่ ตามบทความ AMD ตั้งค่า tensor parallelism เป็น 1 ส่วน Nvidia ตั้งเป็น 2
• หากไม่มีตัวชี้วัดทางสถิติที่เหมาะสมและข้อมูลประสิทธิภาพต่อวัตต์ การเปรียบเทียบก็ไม่มีความหมาย
• เบนช์มาร์ก INT8/FP8 น่าจะดีกว่า และการ์ดทั้งสองใบสามารถโหลดได้ที่ VRAM ราว 60GB
• AMD มีฮาร์ดแวร์ที่ดีกว่า แต่ยังขาดกำลังการผลิตที่จะไปแข่งกับ Nvidia เมื่อการแข่งขันที่แท้จริงไล่ทัน มาร์จิ้นก็จะถูกบีบลง
• อำนาจครองตลาดของ Nvidia ไม่ได้มาจาก CUDA แต่เพราะรายได้ราว 40% มาจากบริษัทขนาดใหญ่ที่ใช้สแต็กคัสตอมของตัวเอง หากการแข่งขันไล่ทัน ก็จะมี GPU ที่ถูกลงออกมา
• ในทางทฤษฎี MI300X ควรมีราคาถูกกว่า แต่ในทางปฏิบัติจะเป็นเช่นนั้นจริงหรือไม่ยังต้องรอดู