Nividia เปิดตัว H200 Tensor Core GPU

GPU ที่ทรงพลังที่สุดในโลก

• NVIDIA H200 Tensor Core GPU ช่วยเร่งเวิร์กโหลดด้าน generative AI และ high-performance computing (HPC) ด้วยประสิทธิภาพและความสามารถด้านหน่วยความจำระดับพลิกเกม
• ในฐานะ GPU รุ่นแรกที่มาพร้อม HBM3e, H200 ช่วยยกระดับการเร่งความเร็วสำหรับ generative AI, large language models (LLMs) และเวิร์กโหลด HPC สำหรับงานคำนวณทางวิทยาศาสตร์

ประสิทธิภาพที่ดีขึ้นบนสถาปัตยกรรม NVIDIA Hopper

• NVIDIA HGX H200 ซึ่งสร้างบนสถาปัตยกรรม NVIDIA Hopper™ มาพร้อม NVIDIA H200 Tensor Core GPU ที่มีหน่วยความจำขั้นสูงสำหรับรองรับการประมวลผลข้อมูลขนาดใหญ่

สัมผัสประสบการณ์ประสิทธิภาพที่สูงขึ้น

• การอนุมาน Llama2 70B เร็วขึ้น 1.9 เท่า และการอนุมาน GPT-3 175B เร็วขึ้น 1.6 เท่า
• งาน high-performance computing เร็วขึ้นได้สูงสุด 110 เท่าเมื่อเทียบกับ CPU

ประสิทธิภาพสูงขึ้นพร้อมหน่วยความจำที่ใหญ่และเร็วกว่า

• NVIDIA H200 มอบหน่วยความจำ HBM3e ขนาด 141GB และแบนด์วิดท์หน่วยความจำ 4.8TB/s เพื่อเร่ง generative AI และ LLMs เพิ่มประสิทธิภาพด้านพลังงาน และลดต้นทุนรวมในการเป็นเจ้าของ

รับข้อมูลเชิงลึกด้วยการอนุมาน LLM ประสิทธิภาพสูง

• ตัวเร่ง AI inference ต้องมอบ throughput สูงสุดและ TCO ต่ำสุดเมื่อถูกนำไปใช้งานกับฐานผู้ใช้ขนาดใหญ่
• H200 ให้ความเร็วการอนุมานสำหรับการประมวลผล LLMs ได้สูงสุด 2 เท่าเมื่อเทียบกับ H100 GPU

เร่ง high-performance computing

• แบนด์วิดท์หน่วยความจำมีความสำคัญต่อแอปพลิเคชัน HPC เพราะช่วยให้รับส่งข้อมูลได้เร็วขึ้นและลดคอขวดในการประมวลผลที่ซับซ้อน
• แบนด์วิดท์หน่วยความจำที่สูงของ H200 ทำให้การเข้าถึงและจัดการข้อมูลมีประสิทธิภาพยิ่งขึ้น และช่วยให้ได้ผลลัพธ์เร็วขึ้นสูงสุด 110 เท่าเมื่อเทียบกับ CPU

ลดพลังงานและ TCO

• การนำ H200 มาใช้งานทำให้ประสิทธิภาพด้านพลังงานและ TCO ก้าวสู่ระดับใหม่
• ให้ประสิทธิภาพที่โดดเด่นภายใต้โปรไฟล์การใช้พลังงานเท่าเดิม พร้อมข้อดีที่เป็นมิตรต่อสิ่งแวดล้อมและคุ้มค่ามากขึ้น

ประสิทธิภาพ

• สถาปัตยกรรม NVIDIA Hopper มอบการยกระดับประสิทธิภาพอย่างที่ไม่เคยมีมาก่อน และยังคงยกระดับมาตรฐานประสิทธิภาพต่อเนื่องผ่านการปรับปรุงซอฟต์แวร์สำหรับ H100
• การเปิดตัว H200 สานต่อการเพิ่มประสิทธิภาพเหล่านี้ พร้อมการปรับปรุงอย่างต่อเนื่องสำหรับซอฟต์แวร์ที่รองรับ เพื่อรับประกันความเป็นผู้นำด้านประสิทธิภาพทั้งในปัจจุบันและอนาคต

พร้อมสำหรับองค์กร: ซอฟต์แวร์ AI ช่วยให้การพัฒนาและการนำไปใช้งานง่ายขึ้น

• NVIDIA H200 ที่ทำงานร่วมกับ NVIDIA AI Enterprise ช่วยให้การสร้างแพลตฟอร์มที่พร้อมสำหรับ AI ง่ายขึ้น และเร่งการพัฒนาและการนำไปใช้งาน AI เช่น generative AI, computer vision และ voice AI
• โซลูชันเหล่านี้มอบความปลอดภัยระดับองค์กร ความสามารถในการจัดการ ความเสถียร และการสนับสนุน เพื่อช่วยให้ได้ข้อมูลเชิงลึกที่นำไปใช้ได้จริงเร็วขึ้น และสร้างมูลค่าทางธุรกิจที่จับต้องได้เร็วขึ้น

สเปกของ NVIDIA H200 Tensor Core GPU

• รูปแบบ: H200 SXM
• FP64: 34 TFLOPS
• FP64 Tensor Core: 67 TFLOPS
• FP32: 67 TFLOPS
• TF32 Tensor Core: 989 TFLOPS
• BFLOAT16 Tensor Core: 1,979 TFLOPS
• FP16 Tensor Core: 1,979 TFLOPS
• FP8 Tensor Core: 3,958 TFLOPS
• INT8 Tensor Core: 3,958 TFLOPS
• หน่วยความจำ GPU: 141GB
• แบนด์วิดท์หน่วยความจำ GPU: 4.8TB/s
• ตัวถอดรหัส: 7 NVDEC
• กำลังไฟออกแบบความร้อนสูงสุด (TDP): สูงสุด 700W (ปรับตั้งค่าได้)
• Multi-Instance GPU: สูงสุด 7 MIGs @16.5GB ต่ออินสแตนซ์

ความเห็นของ GN⁺

สิ่งที่สำคัญที่สุดในบทความนี้คือ NVIDIA ได้เปิดตัว GPU ที่ทรงพลังที่สุดในโลกสำหรับเวิร์กโหลด AI และ HPC ผ่าน H200 Tensor Core GPU คาดว่า GPU รุ่นนี้จะช่วยผลักดันไม่เพียงการเร่งความเร็วของ generative AI และ large language models เท่านั้น แต่ยังรวมถึงความก้าวหน้าของเวิร์กโหลด HPC สำหรับการประมวลผลทางวิทยาศาสตร์ด้วย ความก้าวหน้าทางเทคโนโลยีนี้น่าจะน่าสนใจแม้แต่สำหรับวิศวกรซอฟต์แวร์ระดับเริ่มต้น และมีศักยภาพที่จะนำการเปลี่ยนแปลงเชิงนวัตกรรมมาสู่โครงการที่พวกเขามีส่วนร่วม หน่วยความจำขั้นสูงและความสามารถในการประมวลผลของ H200 คาดว่าจะช่วยให้การคำนวณเร็วขึ้น เพิ่มประสิทธิภาพด้านพลังงาน และลด TCO ซึ่งจะเร่งความก้าวหน้าในด้าน AI และงานวิจัยทางวิทยาศาสตร์

[GN⁺]

ความคิดเห็นจาก Hacker News

• ไดของ GPU H200 เหมือนกับ H100 แต่ใช้สแตกหน่วยความจำ 24GB ที่เร็วกว่าในทุกส่วน

  ตัวเร่งความเร็ว H200 ของ NVIDIA ใช้ซิลิคอนตัวเดียวกับ H100 141GB แต่ไม่ใช่ซิลิคอนใหม่อย่างที่เว็บไซต์ของ Nvidia ชวนให้เข้าใจ

• สงสัยว่าผู้ผลิตชิปรายอื่นจะมีโอกาสไล่ตามหรือแซง NVIDIA ในด้าน AI ได้ภายในไม่กี่ปีข้างหน้าหรือไม่

  ตั้งคำถามว่าความเป็นผู้นำและความเชี่ยวชาญด้าน AI ของ NVIDIA จะถูกผู้ผลิตชิปรายอื่นท้าทายได้ในอีกไม่กี่ปีข้างหน้าหรือไม่ หรือว่าความนำของพวกเขายังยากจะเอาชนะ

• การเพิ่มขึ้นของประสิทธิภาพของ NVIDIA ในช่วงเวลาสั้น ๆ น่าประทับใจ แต่ก็รู้สึกว่าตลาดนี้ต้องการคู่แข่งรายอื่นด้วย

  แสดงความประทับใจกับการยกระดับประสิทธิภาพที่ NVIDIA ทำได้ในเวลาอันสั้น พร้อมทั้งหวังว่าจะมีคู่แข่งรายอื่นอย่าง AMD เข้ามาในตลาดนี้

• ถามเกี่ยวกับตัวชี้วัดที่ใช้กับการอนุมาน และควรคาดหวังการเพิ่มประสิทธิภาพแบบใกล้เคียงกันในการฝึกด้วยหรือไม่

  มีการกล่าวถึงตัวชี้วัดประสิทธิภาพของขั้นตอนการอนุมานของโมเดล AI เป็นหลัก จึงเกิดคำถามว่าในขั้นตอนการฝึกโมเดลจะได้เห็นการเพิ่มประสิทธิภาพในลักษณะคล้ายกันหรือไม่

• สงสัยถึงตำแหน่งของ H200 เมื่อเทียบกับ B100 ที่ออกในปีเดียวกัน

  อยากรู้บทบาทและราคาของ H200 หาก B100 เปิดตัวในปีเดียวกันพร้อมมอบประสิทธิภาพสูงกว่า 2 เท่า

• ตกใจกับราคาของ GPU H100 และถามถึงค่าใช้จ่ายหากต้องการใช้สำหรับการทดลองส่วนตัวและแฮกกาธอน

  ตกใจกับราคาที่สูงเกินคาดของ GPU H100 สำหรับการทดลองส่วนตัวและแฮกกาธอน และสงสัยว่าราคาของ H200 จะอยู่ที่เท่าไร

• บนอุปกรณ์พกพา พื้นที่หน้าจอที่มองเห็นได้จริงถูกจำกัดอย่างมากจากแบนเนอร์คุกกี้และแบนเนอร์โฆษณา

  ชี้ปัญหาว่าในสภาพแวดล้อมบนมือถือ พื้นที่ที่มองเห็นหน้าเว็บได้จริงเหลือเพียงหนึ่งในสี่เพราะแบนเนอร์คุกกี้และแบนเนอร์โฆษณา

• ไม่มีคำอธิบายเกี่ยวกับคำว่า "GPU" และไม่มีความสามารถแสดงผลวิดีโอในตัวเลย

  กล่าวถึงข้อเท็จจริงว่า GPU นี้ไม่ได้มีฟังก์ชันแสดงผลวิดีโอในตัว

• มีคำขอให้อธิบายว่ามีอะไรอยู่ในภาพ และมีความเห็นว่ามันดูเหมือนเมืองหรืออาคารจาก Blade Runner

  บอกว่าเข้าใจได้ยากว่าส่วนประกอบในภาพคืออะไรจึงขอคำอธิบาย พร้อมแสดงความรู้สึกว่ามันดูคล้ายเมืองหรืออาคารจาก Blade Runner

• ถามว่าข้อจำกัดของความเร็วในการอนุมานเกิดจากปัญหาแบนด์วิดท์หน่วยความจำ หรือเป็นปัญหาด้านพลังการคำนวณ

  สงสัยว่าปัจจัยที่จำกัดความเร็วการอนุมานของโมเดล AI คือแบนด์วิดท์หน่วยความจำ หรือความสามารถในการประมวลผลคำนวณ