คลาวด์ทางเลือกกำลังเติบโตอย่างรวดเร็ว ขณะที่ภาคธุรกิจต้องการเข้าถึง GPU ในราคาที่ถูกลง

การเติบโตของแพลตฟอร์มคลาวด์ทางเลือก

• ความต้องการแพลตฟอร์มคลาวด์ทางเลือกเพิ่มขึ้นมากกว่าที่เคย
• CoreWeave เพิ่งระดมทุนใหม่ได้ 1.01 พันล้านดอลลาร์ ทำให้มูลค่าบริษัทแตะ 1.9 หมื่นล้านดอลลาร์
• Lambda Labs ก็ระดมเงินทุนแบบ special purpose financing ได้ 500 ล้านดอลลาร์ ขณะที่ Voltage Park กำลังลงทุน 500 ล้านดอลลาร์ในดาต้าเซ็นเตอร์ที่ใช้ GPU
• Together AI ได้รับเงินลงทุน 106 ล้านดอลลาร์ โดยมี Salesforce เป็นผู้นำการลงทุน

ความต้องการด้าน generative AI ที่เพิ่มขึ้น

• ขณะที่กระแส generative AI ยังคงเดินหน้าต่อไป ความต้องการฮาร์ดแวร์สำหรับรันและฝึกโมเดล generative AI ขนาดใหญ่ก็เพิ่มขึ้นเช่นกัน
• GPU มีคอร์หลายพันคอร์ที่สามารถประมวลผลสมการพีชคณิตเชิงเส้นซึ่งเป็นองค์ประกอบของโมเดลเชิงกำเนิดแบบขนานได้ จึงเป็นตัวเลือกที่เหมาะอย่างยิ่งสำหรับการฝึก ปรับจูน และรันโมเดล
• อย่างไรก็ตาม ค่าใช้จ่ายในการติดตั้ง GPU สูงมาก ทำให้นักพัฒนาและองค์กรส่วนใหญ่หันไปใช้คลาวด์

ข้อดีของแพลตฟอร์มคลาวด์ทางเลือก

• ผู้ให้บริการคลาวด์คอมพิวติ้งรายเดิมอย่าง AWS, Google Cloud และ Microsoft Azure ต่างก็มี GPU และอินสแตนซ์ฮาร์ดแวร์เฉพาะทางที่ปรับแต่งมาสำหรับเวิร์กโหลด generative AI
• แต่สำหรับบางโมเดลและบางโปรเจกต์ คลาวด์ทางเลือกอาจมีราคาถูกกว่าและมีความพร้อมใช้งานดีกว่า
• ค่าเช่า Nvidia A100 40GB บน CoreWeave อยู่ที่ $2.46 ต่อชั่วโมง หรือ $1,771 ต่อเดือน ส่วนบน Azure อยู่ที่ $3.40 ต่อชั่วโมง หรือ $2,448 ต่อเดือน และบน Google Cloud อยู่ที่ $3.67 ต่อชั่วโมง หรือ $2,642 ต่อเดือน

ความท้าทายของแพลตฟอร์มคลาวด์ทางเลือก

• ประเด็นสำคัญคือผู้ให้บริการคลาวด์ทางเลือกจะสามารถนำ GPU จำนวนมากขึ้นมาออนไลน์ได้อย่างต่อเนื่อง และตั้งราคาให้แข่งขันได้หรือไม่
• ผู้เล่นรายเดิมอย่าง Google, Microsoft และ AWS อาจทำให้การแข่งขันด้านราคายากขึ้น เมื่อพวกเขาเพิ่มการลงทุนในฮาร์ดแวร์แบบสั่งทำสำหรับการรันและฝึกโมเดล
• แม้เวิร์กโหลด generative AI จำนวนมากจะทำงานได้ดีที่สุดบน GPU แต่สำหรับงานที่ไม่อ่อนไหวต่อเวลา ก็อาจไม่จำเป็นต้องใช้ GPU เสมอไป
• หากฟองสบู่ generative AI แตก ก็มีความเสี่ยงที่ GPU จะล้นตลาดและอุปสงค์จะลดลงอย่างมาก

ความเห็นของ GN⁺

• การพุ่งขึ้นของอุปสงค์ GPU อาจยิ่งเพิ่มอิทธิพลของผู้ผลิต GPU รายใหญ่ เช่น Nvidia มีรายงานว่า Nvidia ให้สิทธิ์จัดสรร GPU ก่อนแก่ผู้ให้บริการคลาวด์ทางเลือก ซึ่งดูเหมือนเป็นกลยุทธ์ในการเสริมอำนาจครองตลาดของ Nvidia
• หากผู้ให้บริการคลาวด์สามารถจัดหาคลัสเตอร์ GPU ขนาดใหญ่ได้สำเร็จ ก็จะได้เปรียบในการดึงดูดโปรเจกต์ AI ขนาดใหญ่ ตัวอย่างชัดเจนคือ Microsoft ที่ทำสัญญามูลค่าหลายพันล้านดอลลาร์กับ CoreWeave เพื่อจัดหาพลังประมวลผล GPU ให้ OpenAI
• อย่างไรก็ตาม ในระยะยาว ภูมิทัศน์ของอุตสาหกรรมคลาวด์อาจเปลี่ยนไปมากจากการพัฒนาชิปแบบ custom silicon สำหรับ AI โดยเฉพาะ เช่น Google TPU, MS Azure Maia/Cobalt และ AWS Trainium โดย hyperscaler น่าจะพยายามลดการพึ่งพา Nvidia
• แม้คลาวด์ทางเลือกจะกำลังก้าวขึ้นมาเป็นตัวเลือกใหม่ แต่ลูกค้าที่มีความพร้อมด้านความปลอดภัย การปฏิบัติตามข้อกำหนด และความสามารถในการบริหารจัดการมัลติคลาวด์ยังมีจำนวนจำกัด อำนาจครองตลาดของผู้ให้บริการคลาวด์รายเดิมยังคงแข็งแกร่งมาก

[GN⁺]

ความเห็นจาก Hacker News

สรุป:

• โมเดลธุรกิจของ AWS ดูเหมือนจะทำให้การตั้งราคาซับซ้อนจนผู้ใช้รู้ค่าใช้จ่ายก็ต่อเมื่อใช้งานไปแล้ว
• จากการวิเคราะห์ค่าใช้จ่ายรายเดือนของ n4-standard-2 ซึ่งเป็นประเภทอินสแตนซ์ใหม่ของ GCP พบว่าค่า vCPU และหน่วยความจำอยู่ที่ $69 ต่อเดือนซึ่งค่อนข้างสูง และราคา SSD ก็แพงเช่นกัน
• คาดว่าผู้ให้บริการคลาวด์รายใหญ่จะเผชิญความยากลำบากภายใน 10 ปีข้างหน้า เพราะต้นทุนและความซับซ้อนในการสร้างระบบระดับ planetary-scale สูงเกินไปจนยากจะหาเหตุผลมารองรับ
• มีข้อผิดพลาดในการคำนวณในบทความที่เปรียบเทียบค่าเช่า GPU Nvidia A100 40GB ของ CoreWeave, Azure และ Google Cloud โดยค่าใช้จ่ายรายเดือนของ CoreWeave ต่างไปประมาณ 30%
• แนะนำให้ใช้ fly.io เป็นทางเลือกที่เหมาะกับเวิร์กโหลด GPU โดยมีความสามารถด้านการปรับขนาดอัตโนมัติที่ดี
• โมเดลธุรกิจของ AWS ดูเหมือนจะทำรายได้มหาศาลจากสตาร์ตอัปช่วงเริ่มต้นที่เติบโตเป็นบริษัทใหญ่ แต่เมื่อยุค ZIRP จบลงและการระดมทุนจาก VC ยากขึ้น ก็คาดว่าจำนวนสตาร์ตอัปที่สามารถเผาเงินจำนวนมากเพื่อเร่งการเติบโตแบบก้าวกระโดดจะลดลง
• มีการตั้งคำถามเกี่ยวกับประสบการณ์ใช้งานคลาวด์ GPU ทางเลือกสำหรับงาน inference โดย latency เป็นปัจจัยสำคัญ และการสื่อสารระหว่างโครงสร้างพื้นฐาน AWS กับ GPU ที่อยู่ที่อื่นอาจทำได้ยาก
• Core Weave และ Lambda Labs มีนโยบายตั้งราคาที่เอาเปรียบ โดยไม่สามารถเช่า GPU ได้หากไม่มีสัญญารายปี ขณะที่บางบริษัทอย่าง sfcompute ก็มีบริการคอมพิวต์แบบคิดรายชั่วโมง
• การที่ "มี H100s/A100s อยู่ในมือจำนวนหนึ่ง" เพียงอย่างเดียวอาจกลายเป็นโมเดลธุรกิจเทคโนโลยีที่ทำกำไรได้
• Crusoe Cloud ให้บริการ H100s, A100s และ L40s ในราคาที่ถูกมาก และยังไม่คิดค่าการใช้งานเครือข่าย ทำให้มีราคาต่อ FLOP ที่แทบไม่มีใครเทียบได้