Jensen Huang แห่ง Nvidia เปิดตัวชิป AI รุ่นใหม่ Blackwell: “เราต้องการ GPU ที่ใหญ่กว่าเดิม”
(cnbc.com)- หลังจากกระแส AI ทำให้ความต้องการ Nvidia GPU พุ่งสูงขึ้นอย่างมาก การประกาศเจเนอเรชันใหม่ Blackwell ครั้งนี้มีเป้าหมายเพื่อเสริมสถานะของบริษัทในฐานะผู้จัดหาสำหรับการฝึกและนำโมเดลขนาดใหญ่ไปใช้งานให้แข็งแกร่งยิ่งขึ้น
- ชิป Blackwell รุ่นแรก GB200 มีกำหนดจัดส่งปลายปีนี้ และเพิ่มประสิทธิภาพ AI จาก 4 petaflops ในเจเนอเรชัน Hopper ซึ่งรวม H100 อยู่ด้วย เป็น 20 petaflops
- GB200 รวม GPU B200 Blackwell สองตัวเข้ากับ CPU Grace ที่ใช้ Arm และ Amazon, Google, Microsoft, Oracle จะขายการเข้าถึงผ่านคลาวด์
- ซอฟต์แวร์ใหม่ NIM ช่วยให้การนำ AI inference ไปใช้งานบน Nvidia GPU รุ่นเดิมทำได้ง่ายขึ้น โดยไลเซนส์ Nvidia enterprise มีค่าใช้จ่ายปีละ 4,500 ดอลลาร์ต่อ GPU
- Nvidia กำลังเสริมกลยุทธ์ แพลตฟอร์มซอฟต์แวร์ นอกเหนือจากการขายชิป เพื่อให้ลูกค้าอยู่ในอีโคซิสเต็มของ Nvidia แทนที่จะย้ายไปใช้ชิปคู่แข่ง
การเปิดตัว Blackwell และสถานะผู้จัดหา AI ของ Nvidia
- Nvidia เปิดตัวเจเนอเรชันชิป AI รุ่นใหม่และซอฟต์แวร์สำหรับรันโมเดล AI ในงานประชุมนักพัฒนาที่ San Jose เมื่อวันที่ 18 มีนาคม 2024
- ในขณะประกาศ บริษัทต่าง ๆ และผู้ผลิตซอฟต์แวร์ยังคงแข่งขันกันเพื่อให้ได้ชิป Hopper H100 รุ่นปัจจุบันและชิปลักษณะใกล้เคียง
- Jensen Huang กล่าวว่า “Hopper ยอดเยี่ยมมาก แต่เราต้องการ GPU ที่ใหญ่กว่าเดิม”
- หลังจาก ChatGPT ของ OpenAI จุดกระแส AI ในช่วงปลายปี 2022 ราคาหุ้น Nvidia เพิ่มขึ้น 5 เท่า และรายได้รวมเพิ่มขึ้นมากกว่า 3 เท่า
- บริษัทอย่าง Microsoft และ Meta ใช้เงินหลายพันล้านดอลลาร์ซื้อ GPU เซิร์ฟเวอร์ระดับสูงของ Nvidia
- หุ้น Nvidia ลดลงมากกว่า 1% ในการซื้อขายนอกเวลาทำการวันจันทร์
-
โครงสร้างและประสิทธิภาพของ GB200
- ชื่อเจเนอเรชันของโปรเซสเซอร์กราฟิก AI รุ่นใหม่คือ Blackwell และชิป Blackwell รุ่นแรกคือ GB200
- Nvidia ปรับปรุงสถาปัตยกรรม GPU ประมาณทุก 2 ปี เพื่อมอบการเพิ่มประสิทธิภาพครั้งใหญ่
- สถาปัตยกรรม Hopper ที่ประกาศในปี 2022 ถูกใช้ในชิปอย่าง H100 และโมเดล AI จำนวนมากที่เปิดเผยในช่วง 1 ปีที่ผ่านมาได้รับการฝึกบนพื้นฐานของ Hopper
- GB200 ที่ใช้ Blackwell มีประสิทธิภาพ AI 20 petaflops สูงกว่า 4 petaflops ของ H100
- พลังประมวลผลที่เพิ่มขึ้นสามารถใช้ให้บริษัท AI ฝึกโมเดลที่ใหญ่และซับซ้อนกว่าเดิมได้
- ชิปมี transformer engine สำหรับรัน AI แบบ transformer ซึ่งเป็นหนึ่งในเทคโนโลยีหลักที่อยู่เบื้องหลัง ChatGPT
- GPU Blackwell ผลิตโดย TSMC และรวมไดสองชิ้นที่ผลิตแยกกันเข้าด้วยกันเป็นชิปเดียว
-
เซิร์ฟเวอร์และการให้บริการผ่านคลาวด์
- GB200 รวม B200 Blackwell GPU สองตัวเข้ากับ CPU Grace ที่ใช้ Arm หนึ่งตัว
- Nvidia ยังนำเสนอเซิร์ฟเวอร์เต็มรูปแบบ GB200 NVLink 2 ที่รวม GPU Blackwell 72 ตัวและชิ้นส่วนอื่น ๆ ของ Nvidia
- Amazon, Google, Microsoft, Oracle จะขายการเข้าถึง GB200 ในรูปแบบบริการคลาวด์
- Amazon Web Services จะสร้างคลัสเตอร์เซิร์ฟเวอร์ที่มี ชิป GB200 จำนวน 20,000 ตัว
- ระบบนี้สามารถนำ โมเดล 27 ล้านล้านพารามิเตอร์ ไปใช้งานได้ ซึ่งมีขนาดใหญ่กว่า GPT-4 ที่มีรายงานว่าอยู่ที่ 1.7 ล้านล้านพารามิเตอร์มาก
- Nvidia ไม่เปิดเผยราคาของ GB200 หรือระบบที่ใช้ชิปดังกล่าว
- ตามการประเมินของนักวิเคราะห์ H100 ที่ใช้ Hopper มีราคาชิปละ 25,000–40,000 ดอลลาร์ และระบบเต็มรูปแบบมีราคาสูงสุด 200,000 ดอลลาร์
- Nvidia จะขายโปรเซสเซอร์กราฟิก B200 ในรูปแบบระบบสำเร็จรูปที่กินพื้นที่แร็กเซิร์ฟเวอร์ทั้งแร็กด้วย
NIM และกลยุทธ์แพลตฟอร์มของ Nvidia
- Nvidia เพิ่มผลิตภัณฑ์ใหม่ชื่อ NIM(Nvidia Inference Microservice) เข้าไปในการสมัครสมาชิกซอฟต์แวร์ Nvidia enterprise
- NIM ทำให้การทำ inference ซึ่งเป็นกระบวนการรันซอฟต์แวร์ AI บน Nvidia GPU ที่มีอยู่เดิม ทำได้ง่ายขึ้น
- inference ต้องการการประมวลผลน้อยกว่าการฝึกโมเดล AI ใหม่ในช่วงเริ่มต้น
- เป้าหมายคือทำให้บริษัทต่าง ๆ ยังใช้ Nvidia GPU หลายร้อยล้านตัวที่มีอยู่แล้วต่อไปได้
- บริษัทที่ต้องการรันโมเดล AI ของตนเอง แทนที่จะซื้อผลลัพธ์ AI เป็นบริการจากบริษัทอย่าง OpenAI คือกลุ่มเป้าหมายหลักของ NIM
- กลยุทธ์หลักคือเชื่อมลูกค้าที่ซื้อเซิร์ฟเวอร์ที่ใช้ Nvidia เข้ากับการสมัครสมาชิก Nvidia enterprise
- ค่าไลเซนส์อยู่ที่ปีละ 4,500 ดอลลาร์ต่อ GPU
-
การนำโมเดลไปใช้งานและวิธีใช้งานของนักพัฒนา
- Nvidia จะร่วมมือกับบริษัท AI อย่าง Microsoft และ Hugging Face เพื่อปรับให้โมเดล AI รันได้บนชิป Nvidia ที่รองรับทั้งหมด
- นักพัฒนาสามารถใช้ NIM เพื่อรันโมเดลอย่างมีประสิทธิภาพบนเซิร์ฟเวอร์ของตนเองหรือเซิร์ฟเวอร์ Nvidia บนคลาวด์ โดยไม่ต้องผ่านขั้นตอนตั้งค่ายาว ๆ
- Manuvir Das กล่าวว่า วิธีการคือเปลี่ยนโค้ดเพียงบรรทัดเดียวจากส่วนที่เคยเรียก OpenAI ในโค้ดเดิม ให้ชี้ไปยัง NIM ที่ได้รับจาก Nvidia
- Nvidia ระบุว่าซอฟต์แวร์นี้ช่วยรัน AI ไม่เพียงบนเซิร์ฟเวอร์คลาวด์ แต่รวมถึงแล็ปท็อปที่มี GPU ด้วย
-
จากบริษัทชิปสู่แพลตฟอร์มซอฟต์แวร์
- NIM เป็นผลิตภัณฑ์ที่เพิ่มเหตุผลให้ลูกค้าอยู่กับชิป Nvidia แทนที่จะใช้ชิปคู่แข่ง
- Nvidia ไม่ได้หยุดอยู่ที่การเป็นผู้จัดหาชิปแบบรับจ้างเท่านั้น แต่กำลังเข้าใกล้การเป็นผู้ให้บริการแพลตฟอร์มที่บริษัทอื่นสามารถสร้างซอฟต์แวร์บนแพลตฟอร์มนั้นได้
- Huang กล่าวว่า “Blackwell ไม่ใช่ชิป แต่เป็นชื่อของแพลตฟอร์ม”
- Das กล่าวว่า ในอดีต ผลิตภัณฑ์เชิงพาณิชย์ที่ขายได้คือ GPU ส่วนซอฟต์แวร์มีบทบาทช่วยให้ใช้ GPU ได้ แต่ตอนนี้ Nvidia มีธุรกิจซอฟต์แวร์เชิงพาณิชย์แล้ว
2 ความคิดเห็น
นี่คือเนื้อหาวิดีโอจาก CNET ที่สรุปโดย corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)
ความคิดเห็นจาก Hacker News
เมื่อดูจากบรรยากาศในคีย์โนตและเนื้อหางานประชุม จะเห็นว่า Nvidia กำลังขยับขึ้นไปยัง ชั้นบนของสแตก แบบที่บริษัทฮาร์ดแวร์ดี ๆ มักทำกัน
แน่นอนว่าคงยังทำฮาร์ดแวร์ที่ใหญ่ขึ้นต่อไป แต่ประเด็นสำคัญคือกำลังสร้าง NIM ที่คล้ายกับ Docker สำหรับ LLM อยู่ Nvidia กำลังสร้างระบบคอนเทนเนอร์ที่ให้ดาวน์โหลดหรือซื้อ NIM แล้วนำไปดีพลอยบนฮาร์ดแวร์ Nvidia ได้ง่าย จึงน่าจับตาว่าสิ่งนี้จะส่งผลต่อสตาร์ทอัพ AI อย่างไร
ภัยคุกคามที่ใหญ่กว่าคือกรณีที่ฟังก์ชันหลักของธุรกิจถูกใส่เข้าไปในซอฟต์แวร์กระแสหลัก เหมือนทุกวันนี้ iPhone ลบพื้นหลังให้ได้แล้ว ทำให้ความต้องการจ่ายเงินเพื่อบริการลบพื้นหลังหายไป หากผลิตภัณฑ์ AI สามารถถูกใส่เข้าไปเป็นฟีเจอร์หนึ่งของแอปทำงานเดิม ๆ ได้ง่าย ธุรกิจนั้นก็อยู่ในสภาพ ยืมเวลาอยู่
หมายถึงสายสตาร์ทอัพ AI-as-a-Service ที่ให้บริการ “โครงสร้างพื้นฐาน” อะไรแบบนั้นหรือเปล่า?
ทิศทางที่ว่า “Nvidia กำลังเปลี่ยนจากผู้ขายชิปแบบรับจ้างผลิต/จัดหา มาใกล้เคียงกับ ผู้ให้บริการแพลตฟอร์ม แบบ Microsoft หรือ Apple ที่ให้บริษัทอื่นสร้างซอฟต์แวร์ได้” นั้นเข้าใจได้ในมุมการเติบโต
หากกลายเป็นบริการแพลตฟอร์มสำหรับ AI ได้ก็จะทำกำไรให้ Nvidia มากขึ้น แต่การรักษาสมดุลกับพาร์ตเนอร์อย่าง AWS และ Microsoft ที่มีอยู่แล้วคงยาก ต่อไปน่าจะมีการซื้อกิจการหรือโซลูชันแบบปรับแต่งเฉพาะเพื่อแข่งขันออกมา และโชคดีสำหรับ Nvidia คือ AI จำนวนมากยังพึ่งพา CUDA อยู่ ทำให้พัฒนาการต่อจากนี้น่าสนใจ
Nvidia ไม่มีอำนาจงัดพอจะบังคับลูกค้าไปทางใดทางหนึ่ง และแค่ขาย GPU อย่างเดียวก็คงง่ายกว่า แต่ดูเหมือนจะรู้ว่าลูกค้าที่เชี่ยวชาญสามารถย้ายไปใช้ชิปอื่นได้ ขณะที่แพลตฟอร์มมีผลในการผูกลูกค้ารายเล็กไว้
ถ้า Nvidia ต้องการ ก็อาจเปิดมาตรฐานเองโดยสมัครใจเพื่อเลี่ยงคดีแบบนี้ได้ และส่วนตัวผมคิดว่านั่นเป็นทางเลือกที่ฉลาด แต่ในประวัติศาสตร์ บริษัทแทบทั้งหมดเลือกโดนฟ้องแทนการเปิดเองโดยสมัครใจ
ต่อให้ AWS มีโซลูชันฮาร์ดแวร์+ซอฟต์แวร์ของตัวเองสำหรับโครงข่ายประสาท การจะย้ายออกจาก แพลตฟอร์ม CUDA อาจต้องใช้เวลาหลายปี หรืออาจเป็นหลายสิบปี
Microsoft มีพาร์ตเนอร์ทั้งกับ OpenAI และ Mistral ความสะดวกในปัจจุบันไม่ได้รับประกันว่าจะคงอยู่ในอนาคต และ Nvidia เองก็รู้เรื่องนี้ดี
FP4 คืออะไร เป็น เลขทศนิยมลอยตัว 4 บิต หรือเปล่า? ถ้าใช่ กราฟเปรียบเทียบที่บอกว่าเร็วกว่า Hopper 30 เท่า [0] ก็ดูชวนเข้าใจผิดอยู่บ้าง
[0] https://youtu.be/Y2F8yisiS6E?t=4698
บางคนเชื่อมโยงเรื่องนี้กับงานวิจัยเกี่ยวกับ LLM แบบ 4 บิตฉบับนี้ [1] และในบรรดาผู้เขียนก็มีพนักงาน Nvidia อยู่หนึ่งคน
1: https://arxiv.org/pdf/2310.16836.pdf
ถ้ามีฮาร์ดแวร์ที่เด่นมากด้าน FP4 ก็ใช้มันได้ และได้ความเร็วเพิ่มขึ้นโดยเสียความแม่นยำให้น้อยที่สุด แม้จะมีความสร้างสรรค์เชิงการตลาดปนอยู่ แต่ก็ไม่ใช่มาตรวัดการใช้งานจริงที่ผิดไปเสียทั้งหมด
เคยถูกพูดถึงในโพสต์ก่อนหน้านี้ด้วย: https://news.ycombinator.com/item?id=37930663
จริง ๆ แล้วแทบจะเป็นการวาง Hopper สองตัวคู่กันบนโหนดกระบวนการผลิตที่ปรับปรุงขึ้นเล็กน้อย จึงไม่น่าแปลกใจ และถ้าไม่ได้ใช้ฟีเจอร์ใหม่เหล่านั้นหรือหน่วยความจำที่เพิ่มขึ้น ตัวเลขประมาณ 2.5 เท่าดูน่าเป็นไปได้กว่า
เมื่อไม่กี่ปีก่อนซื้อ Bright Cluster Manager ไป แล้วเป้าหมายซื้อกิจการรายต่อไปจะเป็นใคร? ดูเหมือนต้องการมอบ ทั้งสแตก ให้ลูกค้า
นี่คือยุคที่ เพตาฟลอปส์ ระดับเลขสองหลักถูกผลิตจำนวนมาก
“พลังประมวลผลที่จำเป็นต่อการจำลองกิจกรรมที่เกี่ยวข้องของสมองมนุษย์ ถูกผู้เขียนหลายรายประเมินไว้ตั้งแต่ 10^12 ถึง 10^28 FLOPS” เพตาฟลอปส์คือ 10^15 เป็นยุคที่บ้าจริง ๆ
Masayoshi Son แห่ง Softbank น่าเสียดายจริง ๆ ปี 2019 เขาถือหุ้น Nvidia มูลค่า 3.1 พันล้านดอลลาร์ ซึ่งถ้าเป็นตอนนี้จะกลายเป็น 60 พันล้านดอลลาร์ หรือ 19 เท่า
เขามองบวกต่อ AI และหุ่นยนต์อย่างมาก แต่ล้ำยุคเกินไป
ตรงนี้คำว่า “บริษัทแพลตฟอร์ม” หมายถึง หลายชิป หรือเปล่า?
เพราะการยัดทรานซิสเตอร์จำนวนมากขนาดนั้นลงในไดเดี่ยวเริ่มไม่สมจริงแล้ว จึงดูสมเหตุสมผล
เป็นทิศทางที่ต้องการผูกแอปพลิเคชันระดับสูงให้รันอยู่บนแชสซีเฉพาะ, เครือข่ายเชื่อมต่อระหว่างคลัสเตอร์เฉพาะ และมิดเดิลแวร์เฉพาะ ทำให้นึกถึงการซื้อ Mellanox
ฝั่งฮาร์ดแวร์รวมถึง GPU, NVLINK ซึ่งเป็นแฟบริก GPU-GPU, CPU, NIC, InfiniBand ซึ่งเป็นแฟบริกเครือข่าย และสวิตช์ นอกจากนี้ยังช่วยผลักดันและสนับสนุนให้ผู้คนสร้างเลเยอร์ ซอฟต์แวร์สแตก หลายชั้นไว้ด้านบน เช่น CUDA, Riva, Megatron, Omniverse
ลองจินตนาการว่า AWS ขายคอมพิวเตอร์ทุกเครื่องในโลกด้วยก็พอ โครงสร้างจะกลายเป็นว่า ต่อไปเช่าได้จากที่นั่นเท่านั้น
สงสัยว่าเมื่อไรอุตสาหกรรมจะเริ่มรับมือกับ ปัญหาการขยายขนาด ของ LLM สำหรับ Nvidia แน่นอนว่าการออก GPU ที่ใหญ่ขึ้นและดีขึ้นเรื่อย ๆ ย่อมเป็นประโยชน์ แต่ผลประโยชน์ร่วมกันคืออะไร?
เราพิสูจน์แล้วว่าถ้ามีทรัพยากรเพียงพอก็สร้างโมเดลภาษาเก่ง ๆ ได้ ตอนนี้โจทย์คือการนำโมเดลเหล่านี้ไปใส่ในโซลูชันที่ไม่ต้องใช้ทรัพยากรในปริมาณที่นึกภาพไม่ออกสำหรับกรณีใช้งานทั่วไป
นี่ไม่ใช่ปัญหาของ AI อย่างเดียว แต่เป็นปัญหาของซอฟต์แวร์ทุกอย่างที่เราใช้ มีกลุ่มคนแค่สองประเภทที่พยายามปรับแต่งและทำให้เข้ากับระบบที่เล็กลง คือโปรแกรมเมอร์ที่มีแพสชัน และคนที่ได้รับเงินให้ทำงานนั้น เช่น ทีมซอฟต์แวร์ของผู้ผลิตโทรศัพท์มือถือ
ราคาหุ้นไม่เปลี่ยนในช่วงซื้อขายนอกเวลาทำการ หลายคนคาดว่าประกาศใหญ่จะทำให้เด้งแรง
เพียงแต่หุ้นตัวนั้น มีมูลค่าสูงเกินจริง จนน่าขำจริง ๆ
ในระยะสั้น Microsoft กับ OpenAI จะใช้ชิปนี้ แต่ในระยะยาวพวกเขาจะมองสิ่งนี้แล้วพัฒนาชิปของตัวเองเพื่อลดการพึ่งพา Nvidia และเตรียมย้ายออกเมื่อสัญญาสิ้นสุด
อ้างว่าลดการใช้พลังงานได้ 25 เท่า นี่เป็นไปได้จริงหรือ? มีใครรู้ไหมว่าตัวเลขนี้มาจากไหน?
แต่ผมคิดว่าอาจมีพิมพ์ผิดก็ได้ น่าจะเป็นการเปรียบเทียบที่รวม liquid cooling กับ air cooling เข้าไปด้วย
[1] https://nvdam.widen.net/s/xqt56dflgh/nvidia-blackwell-archit...
อาจเป็นเพราะประสิทธิภาพดีขึ้น 5 เท่าทำให้ประสิทธิภาพต่อพลังงานดีขึ้น และตอนนี้ใช้ พารามิเตอร์ 27 ล้านล้าน ได้ ไม่ใช่ 1.7 ล้านล้านแล้ว จึงทำงานปริมาณเดิมเสร็จในเวลา 1/25 และเลยเรียกว่าการใช้พลังงานลดลงก็ได้ อย่างที่พูด ผมค่อนข้างสงสัยว่าอัตราการใช้พลังงานสูงสุดเองจะต่ำลง 25 เท่าจริง ๆ