- OpenAI กำลังพัฒนาชิปสำหรับ AI inference และยกเลิกแผนเครือข่ายฟาวด์รี
- Broadcom ช่วยออกแบบชิปของ OpenAI และสนับสนุนให้สามารถผลิตกับ TSMC ได้
- OpenAI เพิ่มชิป AI ของ AMD เพื่อกระจายแหล่งจัดหาชิป
ความพยายามออกแบบชิปภายในของ OpenAI และการใช้ประโยชน์จากพาร์ตเนอร์ในอุตสาหกรรม
- OpenAI กำลังพิจารณาทางเลือกหลากหลายเพื่อกระจายแหล่งจัดหาชิปและลดต้นทุน
- บริษัทมีแผนจะหยุดแผนฟาวด์รีที่ทะเยอทะยานไว้ก่อนในระยะนี้ และมุ่งเน้นไปที่ความพยายามออกแบบชิปภายใน
- กลยุทธ์ของ OpenAI แสดงให้เห็นวิธีที่บริษัทใช้พาร์ตเนอร์ในอุตสาหกรรมและแนวทางทั้งภายในและภายนอกเพื่อประกันซัพพลายชิปและควบคุมต้นทุน เช่นเดียวกับคู่แข่งรายใหญ่อย่าง Amazon, Meta, Google และ Microsoft
- OpenAI เป็นหนึ่งในผู้ซื้อชิปรายใหญ่ที่สุด และการตัดสินใจพัฒนาชิปแบบปรับแต่งเองพร้อมจัดหาจากผู้ผลิตชิปหลายราย อาจส่งผลกระทบเป็นวงกว้างต่อภาคเทคโนโลยี
- Broadcom ช่วยบริษัทอย่าง Google ปรับแต่งการออกแบบชิปให้พร้อมสำหรับการผลิต และจัดหาชิ้นส่วนการออกแบบที่ช่วยให้ข้อมูลเคลื่อนที่ในชิปได้รวดเร็ว
- OpenAI ได้รับกำลังการผลิตจาก TSMC ผ่าน Broadcom เพื่อให้สามารถผลิตชิปออกแบบเฉพาะตัวแรกได้ในปี 2026
- ปัจจุบัน GPU ของ Nvidia ครองส่วนแบ่งตลาดมากกว่า 80%
- อย่างไรก็ตาม การขาดแคลนอุปทานและต้นทุนที่เพิ่มสูงขึ้น ทำให้ลูกค้ารายใหญ่อย่าง Microsoft, Meta และตอนนี้รวมถึง OpenAI กำลังมองหาทางเลือกภายในหรือจากภายนอก
- การที่ OpenAI เลือกใช้ชิป AMD ผ่าน Azure ของ Microsoft แสดงให้เห็นว่าชิป MI300X รุ่นใหม่ของ AMD กำลังพยายามแย่งส่วนแบ่งบางส่วนจากตลาดที่ Nvidia ครองอยู่
- การฝึกโมเดล AI และการให้บริการอย่าง ChatGPT มีต้นทุนสูง
- OpenAI คาดว่าปีนี้จะมีรายได้ 3.7 พันล้านดอลลาร์ แต่ขาดทุน 5 พันล้านดอลลาร์
- ต้นทุนด้านคอมพิวต์เป็นค่าใช้จ่ายที่ใหญ่ที่สุดของบริษัท จึงกระตุ้นให้เกิดความพยายามในการเพิ่มประสิทธิภาพการใช้งานและกระจายผู้จัดหา
ความเห็นของ GN⁺
- ความพยายามออกแบบชิปภายในของ OpenAI และความร่วมมือกับผู้ผลิตชิปหลายราย สะท้อนการเปลี่ยนแปลงสำคัญในอุตสาหกรรม AI ซึ่งอาจสร้างทางเลือกใหม่ที่ท้าทายอำนาจนำของ Nvidia และเร่งความก้าวหน้าของเทคโนโลยี AI
- อย่างไรก็ตาม อาจมีข้อกังวลเกี่ยวกับโครงสร้างต้นทุนของ OpenAI ในสถานการณ์ที่การพัฒนาโมเดล AI และการดำเนินบริการต้องใช้เงินมหาศาล จึงเกิดคำถามต่อความสามารถในการทำกำไรและความยั่งยืนในระยะยาว
- ขณะเดียวกัน การมาถึงของชิป AI รุ่นใหม่อย่าง MI300X ของ AMD จะช่วยกระตุ้นการแข่งขันในตลาดและมอบทางเลือกให้ลูกค้ามากขึ้น ซึ่งอาจมีส่วนช่วยต่อการทำให้เทคโนโลยี AI เข้าถึงได้กว้างขึ้นและนำไปใช้เชิงพาณิชย์มากขึ้น
- การแข่งขันที่รุนแรงขึ้นในตลาดชิป AI คาดว่าจะเร่งนวัตกรรมทางเทคโนโลยี และเพิ่มความต้องการชิปสมรรถนะสูงที่ใช้พลังงานต่ำ ส่งผลให้การแข่งขันด้านการลงทุนและการดึงดูดบุคลากรในงานออกแบบและผลิตชิปเข้มข้นยิ่งขึ้น
- เมื่อองค์กรต่าง ๆ นำชิป AI มาใช้ ควรพิจารณาปัจจัยหลายด้านร่วมกัน เช่น ประสิทธิภาพ ต้นทุน ความเข้ากันได้ และความสามารถในการขยายระบบ การเลือกชิปที่เหมาะสมที่สุดให้สอดคล้องกับโรดแมปเทคโนโลยีและกลยุทธ์ธุรกิจระยะยาวเป็นสิ่งสำคัญ
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ในฐานะอดีตพนักงาน Google ผมไม่แปลกใจเลย ผมยังติดต่อกับเพื่อน ๆ ที่ยังอยู่ Google อยู่เรื่อย ๆ และในช่วงไม่กี่เดือนที่ผ่านมา จำนวนที่ OpenAI ดึงวิศวกรฮาร์ดแวร์จาก Google ไปเพิ่มขึ้นอย่างมาก
แค่ดูโปรไฟล์วิศวกรฮาร์ดแวร์ของ OpenAI บน LinkedIn ก็เห็นได้ง่าย ๆ ว่ามีคนจาก Google มากแค่ไหน ทีม TPU ของ Google เหลือเพียงเงาของอดีตเท่านั้น ดังนั้นถ้า TPU ของ Google ในอนาคตด้อยกว่าชิปใหม่ของ OpenAI ก็ไม่น่าแปลกใจ
งาน TPU ของ Google ในอดีตก็พึ่งพาความช่วยเหลือจาก Broadcom เช่นกัน: https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
ในเมื่อ Broadcom ช่วย Google TPU ได้ดี การที่คนจาก Google นำ ความสัมพันธ์กับซัพพลายเออร์ นั้นไปยังบริษัทใหม่จึงเป็นเรื่องเป็นธรรมชาติมาก
BRCM เป็นผู้นำด้าน SerDes ร่วมกับ Marvell และบริษัทอื่น ๆ และ IP ของ Synopsys กับ Cadence ก็ถูกบริษัทชิปแบบนี้ใช้กันมาก ไม่มีบริษัทไหนจะทำ vertical integration ของ IP ทุกอย่างได้ทั้งหมด จึงดูไม่ใช่เรื่องที่ต้องตื่นเต้นอะไร
มันไม่ใช่เรื่องง่ายเหมือนจับ PhD มาไว้ในห้องเดียวแล้วให้สร้าง LLM ออกมา การพัฒนาฮาร์ดแวร์ นั้นยุ่งยาก ช้า ใช้เวลาตรวจสอบยาวนาน และมีต้นทุนแพงสุด ๆ
Jensen พูดมาตลอดว่าความต้องการ “บ้าคลั่ง” และก็ได้ยินข่าวลือว่า yield ต่ำด้วย เรื่องนี้อาจนำไปสู่ ปัญหาด้านอุปทาน ในอีกหลายเดือนหรือหลายปีข้างหน้า
ในบรรดาบริษัท Fortune 500 ไม่มีบริษัทไหนจะฝากฮาร์ดแวร์และซอฟต์แวร์ AI ทั้งหมดไว้กับแหล่งเดียว การหลีกเลี่ยงแหล่งเดียวแล้วกระจายความเสี่ยงเป็นทางเลือกที่ฉลาด
เพราะหา Nvidia ไม่ได้ เราจึงใช้ Trainium
แม้แต่สัญญา OpenAI/Oracle ก็ถูกจัดไว้ให้ Oracle ต้องรันสแต็ก Azure ในศูนย์ข้อมูลของตน เพื่อให้ MSFT สามารถเป็นตัวกลางในความสัมพันธ์ได้ ชิป AMD ที่กล่าวถึงในบทความก็เป็น MSFT ที่ซื้อ
ผมสงสัยว่านี่หมายความว่า OpenAI รับความเสี่ยงและรายจ่ายลงทุน เพื่อจัดหาฮาร์ดแวร์ที่หลากหลายให้ Microsoft หรือมีเงื่อนไขอื่นอยู่กันแน่
การบอกว่า OpenAI เคยพิจารณาทางเลือกในการสร้างทุกอย่างเองและระดมทุนเพื่อสร้างเครือข่าย foundry สำหรับผลิตชิปนั้นลดทอนความทะเยอทะยานของ Sam ลงไปมากจนเกินจริง
เขาเคยโยนไอเดียว่าจะระดมทุน 7 ล้านล้านดอลลาร์ ให้ได้ไม่ทางใดก็ทางหนึ่ง เพื่อสร้าง fab 36 แห่ง สำหรับซิลิคอน AI โดยเฉพาะ และมีรายงานว่าผู้บริหาร TSMC ได้ยินแล้วแทบจะหัวเราะใส่หน้าทันที
การลงทุนสุทธิในประเทศของสหรัฐฯ ทั้งหมดยังไม่ถึง 1 ล้านล้านดอลลาร์: https://fred.stlouisfed.org/series/W790RC1Q027SBEA
การสะสมทุนถาวรขั้นต้น หรือยอดรวมของการลงทุนสุทธิกับค่าเสื่อมราคา ก็ไม่ได้มากกว่านั้นมากนัก: https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
ต่อให้รวม Google, Apple, Microsoft เข้าด้วยกัน รายจ่ายลงทุนประจำปียังไม่ถึง 100 พันล้านดอลลาร์ แม้มูลค่าตลาดรวมของสามบริษัทจะเกือบ 10 ล้านล้านดอลลาร์ก็ตาม
การที่บริษัทมูลค่า 100 พันล้านดอลลาร์เรียกเงิน 7 ล้านล้านดอลลาร์นั้นไร้เหตุผลอย่างเหลือเชื่อ
เมื่อดูการวิเคราะห์ทางการเงินที่น่าเชื่อของ “The Subprime AI Crisis” แล้ว ผมก็ไม่มีอะไรจะเสริม นอกจากประโยคจากหนัง “Dodgeball”
“เป็นกลยุทธ์ที่กล้าดีนะ Cotton มาดูกันว่าจะได้ผลไหม”
0 - https://www.wheresyoured.at/subprimeai/
1 - https://www.imdb.com/title/tt0364725/quotes/
เมื่อก่อนโมเดลฟรีก็เคยให้คำตอบที่แม่นยำกว่าสำหรับเบนช์มาร์กของผมในบางวัน ดังนั้นจึงรู้สึกเหมือนทำให้ช่องว่างระหว่างสองตัวกว้างขึ้น เพื่อให้ o1 ดูมีประโยชน์กว่า
OpenAI จะทำอย่างไรกับผลิตภัณฑ์ของตัวเองก็เป็นเรื่องของเขา แต่สำหรับผมมันดูเหมือนการเนิร์ฟผลิตภัณฑ์ฟรีเพื่อทำให้ o1 ดูดีขึ้นเมื่อเทียบกัน
ต้องใช้เวลานานแค่ไหนกว่าจะนำชิปใหม่เข้าสู่การผลิต และนำไปใช้กับการฝึกหรือการอนุมานได้?
ถ้าเทเงินเพิ่มอาจเร็วขึ้นได้ แต่ก็อาจทำพังจนใช้เวลานานกว่าเดิมได้เช่นกัน
ถ้าปรับให้ลงตัวได้ ก็อาจยิ่งถ่างช่องว่างกับผู้ให้บริการ LLM รายอื่นได้มากขึ้น
น่าจะกำลังสร้างดาต้าเซ็นเตอร์ของตัวเองเพื่อใช้ชิปนี้ แต่แปลกที่ในข่าวไม่ได้พูดเรื่องนี้ไว้จริง ๆ
มีชิป AI/คูณเมทริกซ์ของฝั่งตะวันตกตัวไหนบ้างที่ ไม่ได้ผลิตที่ TSMC? Amazon หรือ Meta ต่างออกไปหรือเปล่า? NVIDIA, AMD, Google TPU ก็ใช้ TSMC พร้อมความร่วมมือด้านการออกแบบกับ Broadcom และตอนนี้ OpenAI ก็เป็นแบบนั้น
สงสัยว่า Samsung ไม่มีความสามารถในการแข่งขันหรือไม่ และก็สงสัยด้วยว่าข้อจำกัดของปริมาณชิปหรือชิปเซ็ตโดยรวมมาจากกำลังการผลิตของ TSMC หรือมาจากหน่วยความจำหรือแพ็กเกจจิงกันแน่
ดูเหมือน OpenAI จะตระหนักว่า นอกจากการรับรู้แบรนด์แล้ว แทบไม่มีคูเมืองอะไรเลย จึงพยายามสร้างคูเมืองด้วย แฟ็บและการออกแบบชิป
หากแฟ็บและชิปแบบผูกขาดนั้นยอดเยี่ยมราวกับมีเวทมนตร์ และผลิตได้ถูกโดยไม่ต้องจ่ายภาษีให้ทีมสีเขียว ก็คงได้เปรียบมหาศาลด้านต้นทุนการอนุมาน
บางทีพวกเขาอาจตัดสินใจว่าแค่เริ่มจากชิปแบบผูกขาดก็เพียงพอแล้ว
รู้สึกอยู่เรื่อย ๆ ว่าใน AI มี ทรานซิสเตอร์ที่ถูกใช้เปลือง เราใช้สถานะไบนารีเพื่อกำจัดเอนโทรปีออกจากระบบ แต่ใน AI ยอมรับเอนโทรปีได้มากกว่านั้นมาก
สำหรับงานแบบนี้ น่าจะมีวิธีที่ดีกว่า NAND gate ได้มาก
มันช่วยลดต้นทุนวิศวกรรมแบบไม่เกิดซ้ำและเพิ่มความเร็วในการพัฒนา หากทิ้งสิ่งนี้ไป ก็อาจเท่ากับทิ้งระบบเครื่องมือที่ทำให้ประสิทธิภาพในปัจจุบันเป็นไปได้ด้วย
สิ่งอย่าง GH Copilot นั้นยอดเยี่ยม แต่ที่เหลือยังไม่เห็นผลกระทบทางสังคมและวัฒนธรรมของ LLM เลย ไม่นับโพสต์โซเชียลมีเดียที่ร้อนแรงเกินจริงจากอินฟลูเอนเซอร์ที่โชว์ตัวอย่างเจ๋ง ๆ หรือการเปิดตัวโมเดล
ผมไม่เห็นปรากฏการณ์ที่เทคโนโลยีนี้ซึมเข้าไปทั่วสังคม เลยสงสัยว่าผมเป็นคนที่ไม่รับผลกระทบเอง หรือมันซ่อนอยู่ลึกใน SaaS/ผลิตภัณฑ์องค์กรกันแน่
มันน่าจะต้องมี ผลกระทบเชิงผลิตภาพต่อวัฒนธรรม ที่แพร่หลาย เกาะติด และมีการใช้งานต่อเนื่องสูง ไม่ใช่จบแค่ “โอ้ เจ๋งดี” แบบ 3D TV หรือ VR
ยิ่งคิดถึงเงินจำนวนมหาศาลที่ถูกเผาไปกับฮีตซิงก์ GPU ก็ยิ่งเป็นแบบนั้น
นอกเหนือจากภาคการศึกษา อุตสาหกรรม SEO ก็เติบโตขึ้นรอบ ๆ LLM และพวกเขาชอบความสามารถใหม่ในการผลิตสแปมจำนวนมหาศาลมาก
ในภาคธุรกิจและภาครัฐ กำลังเริ่มนำมาใช้อย่างระมัดระวังเพื่อเพิ่มผลิตภาพในงานสื่อสารที่ยอมรับภาพหลอนเล็กน้อยหรือสไตล์ภาษาบริษัทที่ดูเป็นหุ่นยนต์ได้ เพราะประโยคสุดท้ายยังคงให้มนุษย์เป็นคนทำ
ฝ่ายสนับสนุนลูกค้าและฝ่ายขายกำลังใช้เงินกับเมนูโทรศัพท์แบบเก่าเวอร์ชัน “AI” ซึ่งสุดท้ายก็ทำให้ต้องตะโกนว่า “อยากคุยกับเจ้าหน้าที่” ก่อนจะได้ต่อสายกับคนจริง
ที่อื่น ๆ การนำไปใช้ยังช้า เพราะเราคาดหวังผลลัพธ์แบบกำหนดแน่นอนได้ แต่คาดหวังแบบนั้นจากโมเดลเหล่านี้ได้ยาก เมื่อสร้างซอฟต์แวร์ที่โต้ตอบกับ LLM API เอาต์พุตอาจสุ่มหลุดจากโครงสร้างที่ขอไว้ ทำให้ต้องกลับไปใช้เทคนิค defensive coding ที่ไม่ได้ใช้มานานกว่า 10 ปีอีกครั้ง ดังนั้นแม้แต่การใช้ structured output หรือ function calling ก็ยังยุ่งยาก
เมื่อเห็นเพื่อนสายบัญชีและเพื่อนสายการตลาดใช้มันทำการวิเคราะห์พื้นฐานหรือเขียนข้อความประชาสัมพันธ์ ก็รู้แล้วว่า คนที่ไม่ใช่นักพัฒนาก็ใช้เป็นประจำ ไปแล้ว
การใช้งานของสายงานที่ไม่ใช่เทคนิคสำคัญในเรื่องนี้ ตัวอย่างตรงข้ามของความร้อนแรงเกินจริงคือคริปโต คนที่ไม่ใช่สายเทคนิคที่ผมรู้จักเพียงแค่ “ถือ” ผ่านกระดานเทรด แต่ไม่ได้ทำให้ use case ที่กล่าวอ้างเป็นจริง
โดยเฉพาะ o1-preview ค่อนข้างดีในการเขียนบทรีวิวสั้น ๆ แบบภาพกว้างสำหรับคำถามที่สนใจ
มันทำงานได้ดีเมื่อมีข้อความจำนวนมากที่ครอบคลุมหัวข้อนั้นอยู่แล้ว และต้องนำมาจัดประกอบใหม่ให้เข้ากับคำถามของผม
รูปแบบแชตมีประสิทธิภาพกว่าการค้นเว็บหรืออ่านบทความ Wikipedia ที่เกี่ยวข้องหลายบทความมาก จริง ๆ แล้วมันเป็นประเด็นว่ามองแก้วมีน้ำครึ่งแก้วหรือว่างครึ่งแก้ว ผมประทับใจและคาดหวังต่อประโยชน์ของมันมาก แต่ในขณะเดียวกันก็ชัดเจนว่าไม่ใช่ AGI
ผมเห็นคนที่คาดไม่ถึงใช้ LLM เพื่อจุดประสงค์สารพัดอย่าง ในหลายกรณี พวกเขาไม่อยากแม้แต่จะบอกหัวหน้าว่าใช้เครื่องมือนี้ เพราะมันมอบ พลังพิเศษ ให้กับตัวเอง
หมายถึงคนอย่างพนักงานธนาคาร ผู้จัดการร้าน นักการเมืองท้องถิ่น เจ้าของธุรกิจขนาดเล็ก เมื่อก่อนผมเองก็คงเชื่อได้ยาก แต่ตอนนี้เห็นคนที่คาดไม่ถึงมากขึ้นเรื่อย ๆ ใช้ LLM และยังจัดพรอมป์ได้ดีด้วย
เมื่อผู้ใช้ Outlook ทุกคนมีปุ่มสรุป ดึงข้อมูล และปรับปรุงอีเมล ก็จะมี ผู้คนหลายร้อยล้านคนใช้ LLM ทุกวัน
การจะใช้ 7 ล้านล้านดอลลาร์ กับแฟ็บของตัวเองนั้นเป็นเรื่องที่ทะเยอทะยานและบ้าบิ่นไปพร้อมกัน ดูเหมือนสุดท้ายความเป็นจริงจะเข้ามาแทรกแล้ว ถ้าตื่นจากความฝันอันยิ่งใหญ่แล้ว ก็หวังว่าจะยังรักษาคุณภาพไว้ต่อไป