ฟองสบู่ GPU H100 แตก: ทำไมราคา GPU จึงร่วงจาก $8 เหลือ $2

• หลังการเปิดตัว ChatGPT ในเดือนพฤศจิกายน 2023 ความต้องการ H100 GPU พุ่งสูงขึ้น ทำให้อัตราค่าเช่ารายชั่วโมงทะยานจาก $4.70 ไปอยู่ที่มากกว่า $8
• ผู้ให้บริการดาต้าเซ็นเตอร์คาดว่าหากปล่อยเช่า H100 ที่ราคาสูงกว่า $4.50 ต่อชั่วโมง จะสามารถคืนทุนได้ภายในไม่ถึง 2 ปี
• แต่ ณ เดือนสิงหาคม 2024 ค่าเช่า H100 GPU สำหรับคลัสเตอร์ขนาดเล็กได้ลดลงมาอยู่ที่ราว $1~$2

เกณฑ์ความคุ้มค่าการลงทุน H100 ของดาต้าเซ็นเตอร์

• มากกว่า $2.85 ต่อชั่วโมง: มีโอกาสให้ผลตอบแทนสูงกว่า S&P500
• ต่ำกว่า $2.85 ต่อชั่วโมง: ให้ผลตอบแทนต่ำกว่า S&P500
• ต่ำกว่า $1.65 ต่อชั่วโมง: คาดว่าจะขาดทุนจากการลงทุนตลอด 5 ปี

สาเหตุหลักของการร่วงลงอย่างหนักของราคาในตลาด H100 GPU

• การเติบโตของโมเดล open-weight ทำให้ความต้องการด้าน inference และ fine-tuning เพิ่มขึ้น
• ขณะเดียวกัน ตลาดของผู้สร้าง foundation model ขนาดเล็กถึงกลางกลับหดตัว
  • หลายบริษัทและสตาร์ทอัพตระหนักว่าการปรับจูนโมเดล open-weight ที่มีอยู่แล้วนั้นคุ้มค่าและมีประสิทธิภาพกว่าการฝึกโมเดลเอง
  • สตาร์ทอัพและองค์กรที่ไม่มีแผนฝึกโมเดลขนาดใหญ่เกิน 70B ต่างถอนการลงทุน
• ผู้ให้บริการโครงสร้างพื้นฐานจำนวนมากล็อกกำไรไว้ผ่านสัญญาระยะยาว 3-5 ปี
  • สิ่งนี้เกิดจากแรงกดดันของบริษัท foundation model หลายแห่งในช่วงกระแส AI พีคปี 2023
  • เริ่มนำความจุที่จองไว้แต่ไม่ได้ใช้งานกลับมาขายต่อ
• ความต้องการคลัสเตอร์เดิมลดลง หลังผู้สร้างโมเดลรายใหญ่ เช่น Facebook และ Microsoft สร้างคลัสเตอร์ของตนเอง
• ChatGPT เปิดตัวในเดือนพฤศจิกายน 2022 ด้วยซีรีส์ A100 และ H100 ถูกนำมาใช้ในเดือนมีนาคม 2023 โดย H100 มีพลังมากกว่า A100 ถึง 3 เท่า แต่ราคาแพงกว่าเพียง 2 เท่า
• การมาถึงของ GPU ทางเลือกแทน H100 เช่น AMD MI300 และ Intel Gaudi3
• ความต้องการ GPU สำหรับการขุดลดลง จากการที่ Ethereum เปลี่ยนไปใช้ proof-of-stake และ ASIC ครองการขุด Bitcoin

ประเด็นที่น่าสนใจ

• ต้นทุนเฉลี่ยของ H100 GPU อยู่ที่มากกว่า $50k และเมื่อสมมติอายุการใช้งาน 5 ปี จะมีโมเดลการปล่อยเช่าหลากหลายรูปแบบ
  • หากได้มากกว่า $2.85 ต่อชั่วโมง ก็อาจเอาชนะ IRR ของตลาดหุ้นได้ แต่หากต่ำกว่านั้นอาจเกิดการขาดทุน
• การลงทุนในฮาร์ดแวร์ H100 ใหม่มีแนวโน้มสูงที่จะก่อให้เกิดการขาดทุน
  • ยกเว้นกรณีพิเศษ เช่น ได้ H100 ในราคาลดพิเศษ ค่าไฟต่ำ หรือมีความต้องการเฉพาะจากลูกค้า
• ในทางกลับกัน ราคาที่ลดลงของ H100 จะเป็นตัวเร่งให้ AI แบบ open-weight แพร่หลายมากขึ้น
  • คาดว่าจะช่วยกระตุ้นให้นักพัฒนาและวิศวกรทดลองกับโมเดลเปิดและสร้างแอปพลิเคชันมากขึ้น
• Featherless.AI ให้บริการ inference ทันทีสำหรับโมเดล AI โอเพนซอร์สมากกว่า 2,000 รุ่น ในราคาเหมาจ่าย $10 ต่อเดือน
  • การทำกำไรจากฮาร์ดแวร์จำเป็นต้องอาศัยการปรับแต่งทุกชั้นและการเลือก GPU แบบเฉพาะทาง

ความเห็นของ GN⁺

• การเปลี่ยนแปลงของตลาด GPU: การลดลงของราคา H100 GPU แสดงให้เห็นถึงความเปลี่ยนแปลงอย่างรวดเร็วของตลาด GPU ซึ่งส่งผลอย่างมากต่อนักลงทุนและผู้ให้บริการโครงสร้างพื้นฐาน
• อิทธิพลของโมเดลโอเพนซอร์ส: การมาของโมเดลโอเพนซอร์สอย่าง Llama 3 ทำให้ความต้องการด้าน fine-tuning และ inference เพิ่มขึ้น และลดความต้องการการฝึกโมเดลขนาดใหญ่
• การเติบโตของ GPU ทางเลือก: GPU จาก AMD และ Intel กำลังก้าวขึ้นมาเป็นทางเลือกแทน H100 ทำให้การแข่งขันในตลาดรุนแรงขึ้น และอาจกดดันราคา GPU ให้ลดลงเพิ่มเติม
• โอกาสของแอปพลิเคชัน AI: ต้นทุน GPU ที่ลดลงช่วยลดอุปสรรคในการเข้าสู่การพัฒนาแอปพลิเคชัน AI และอาจกระตุ้นนวัตกรรมได้มากขึ้น
• จำเป็นต้องทบทวนกลยุทธ์การลงทุน: การลงทุนในโครงสร้างพื้นฐาน GPU ต้องใช้แนวทางที่รอบคอบ และควรติดตามแนวโน้มตลาดอย่างใกล้ชิด

[readiz]

ผลกระทบแบบผีเสื้อที่ llama ก่อขึ้นมา... น่าสนใจดีนะครับ 555

[GN⁺]

ความคิดเห็นบน Hacker News

• บริการที่ให้ GPU ราคา $2 อาจทำให้ธุรกิจเสี่ยง เพราะพึ่งพาระบบคอมพิวต์ที่ไม่น่าเชื่อถือ ขณะที่ AWS ทำให้ความน่าเชื่อถือของโครงสร้างพื้นฐาน GPU ระดับองค์กรขั้นสูงดีขึ้น

  • เป็นไปไม่ได้ที่จะทำกำไรจากการให้บริการ H100 ที่ราคา $2

• ดาต้าเซ็นเตอร์ที่มีโครงสร้างพื้นฐานอยู่แล้วสามารถทำกำไรได้มากจาก H100 แต่ในตลาดที่มีประสิทธิภาพ โอกาสแบบนี้จะไม่คงอยู่ตลอดไป

  • ที่ราคา $2.00 ก็ยังทำกำไรได้อยู่ แต่ต้องมีไฟฟ้า/โครงสร้างพื้นฐาน/แรงงานราคาถูก

• กำไรที่แท้จริงอยู่ที่การปล่อยเช่าคลัสเตอร์ InfiniBand ไม่ใช่ GPU/เครื่องเดี่ยว

  • Lambda One Click cluster ระบุราคาไว้ที่ $4.49/H100/ชั่วโมง

• ทั่วโลกมีทีมที่ต้องการ H100 จำนวน 16 โหนดน้อยกว่า 50 ทีม หลายทีมอาจทำกำไรไม่ได้

  • แม้แต่บริษัทพัฒนาซอฟต์แวร์แบบดั้งเดิมก็มีอัตราความสำเร็จต่ำ

• ผู้ก่อตั้งจำนวนมากพยายามฝึกโมเดลเพื่อโน้มน้าวนักลงทุน แต่กรณีที่ฝึกโมเดลซึ่งมีคุณค่าจริงนั้นพบได้น้อย

  • แม้แต่ OpenAI เองก็ยังยากที่จะหยุดการเงินไหลออก
  • มีความกังวลเกี่ยวกับความเป็นไปได้ที่จะเกิดความก้าวหน้าทางเทคโนโลยีหรือมีคู่แข่งราคาถูกเข้ามา

• มีการแสดงความเสียดายต่อห้องแล็บมหาวิทยาลัยที่ไม่สามารถซื้อทรัพยากรคอมพิวต์ได้ในช่วงที่งานวิจัย AI คึกคัก

  • เมื่อ AI winter มาถึง ต้นทุนคอมพิวต์ก็น่าจะกลับมาถูกลงอีกครั้ง

• สถานการณ์นี้ชวนให้นึกถึงวัฏจักรบูมและซบเซาของน้ำมันที่อธิบายไว้ใน 'The Prize: The Epic Quest for Oil, Money & Power'

• OpenAI ต้องพัฒนาโมเดลของตนต่อไปเพื่อตอบสนองต่อความก้าวหน้าของโมเดลโอเพนซอร์ส

  • เมื่อเวลาผ่านไป ความได้เปรียบของ OpenAI อาจไม่สำคัญสำหรับคนส่วนใหญ่อีกต่อไป

• ฟังดูเหมือนเป็นข่าวร้ายสำหรับฟาร์มให้เช่า GPU

• มีการแชร์ความเห็นว่าได้เพิ่มสถานะ short ใน NVDA ขึ้นเล็กน้อย

  • มองว่าจุดสูงสุดใกล้เข้ามาแล้ว