Meta ใช้เงินจำนวนเทียบเท่าโครงการแมนฮัตตันสำหรับการลงทุน GPU

 (twitter.com/emollick)
1 คะแนน โดย GN⁺ 2024-05-06 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-05-06
ความคิดเห็นจาก Hacker News

  • น่าประหลาดใจที่ Manhattan Project และ Apollo Program ฟังดู “ถูก” กว่าที่คิด
    มันแปลกดีที่ค่าใช้จ่ายในการส่งมนุษย์ไปดวงจันทร์ในทศวรรษ 1960 อยู่ในระดับใกล้เคียงกับการซื้อหุ้นคืนล่าสุดของ Apple

    • อาจเป็นเพราะ อัตราเงินเฟ้อ ในช่วงราว 100 ปีที่ผ่านมา ถูกประเมินต่ำเกินไป เมื่อเวลาผ่านไป ส่วนต่างนั้นจะทบต้นสะสมจนมากขึ้นมาก
      การเปรียบเทียบที่เป็นธรรมกว่าคือดูว่าเทียบเท่ากับเงินเดือนของพลเมืองโดยเฉลี่ยกี่ปี
      Manhattan Project มีมูลค่า 2 พันล้านดอลลาร์ในปี 1944 และเมื่ออิงจากรายได้ครัวเรือนมัธยฐานตามสำมะโนปี 1940 จะเท่ากับ 121,000 ครัวเรือน-ปี
      การซื้อหุ้นคืนของ Apple มีมูลค่า 110,000 ล้านดอลลาร์ในปี 2024 และเมื่ออิงจากสำมะโนปี 2022 จะเท่ากับ 122,910 ครัวเรือน-ปี
      กล่าวคือ ตลอด 80 ปี ตัวเลขเงินเฟ้อทางการประเมินต้นทุนต่ำไปประมาณ 3.5 เท่า
    • ตอนนั้นสหรัฐฯ ยากจนกว่ามาก และมาตรฐานการครองชีพก็ต่ำกว่ามาก ดังนั้นค่าจ้างจึงต่ำกว่ามากแม้ปรับตามเงินเฟ้อแล้ว และเพราะอยู่ในช่วงสงคราม คนที่ถูกเกณฑ์ก็ต้องทำงานด้วยค่าจ้างต่ำโดยไม่มีทางเลือก สิ่งนี้อธิบายได้หลายส่วน
    • ผมว่าการ์ตูนนี้บอกได้ทุกอย่าง: https://pbs.twimg.com/media/DuJMkjIXcAcRru9?format=jpg
    • จริง ๆ แล้วมันไม่ได้ถูกเลย เพียงแต่ผลักต้นทุนไปไว้ในอนาคตเท่านั้น การทำความสะอาดพื้นที่ Hanford คาดว่าจะมีค่าใช้จ่าย 16,800 ล้านถึง 550,000 ล้านดอลลาร์
      สถานที่ Santa Susana ที่เคยใช้ทดสอบจรวด Apollo ก็จะต้องใช้เงินหลายพันล้านดอลลาร์ในการทำความสะอาดเช่นกัน และที่นั่นยังมีปัจจัยต้นทุนอื่น ๆ ด้วย
    • ในสถานการณ์ที่ถูกกดดัน ความคุ้มค่าต่อค่าใช้จ่ายคือหัวใจสำคัญ ในสังคมที่ค่อนข้างมั่งคั่งและผ่อนคลายอย่างปัจจุบัน เมื่อเทียบกับ WWII และยุค 60 หลังสงคราม ต้นทุนทุกอย่างสูงขึ้น
      ตอนนั้นสามารถสร้างถนน ทางรถไฟ และเรือได้ แต่ตอนนี้มีกฎระเบียบหลายร้อยข้อ ล็อบบี้ยิสต์ และผู้มีส่วนได้ส่วนเสียที่ต่างเรียกร้องส่วนแบ่งของตน
      หลังจากปัญหาการอยู่รอดถูกแก้ไขไปชั่วคราวแล้ว แรงจูงใจทางการเงิน ก็มีความสำคัญมากขึ้นมาก

  • Manhattan Project และ Apollo Program ต่างก็คิดเป็น 0.4% ของ GDP หากเทียบกับ GDP ปัจจุบันที่ 27 ล้านล้านดอลลาร์ สัดส่วนเดียวกันคือ 108,000 ล้านดอลลาร์ และเงินที่ Meta ใช้กับ GPU ยังไม่ถึงหนึ่งในสามของตัวเลขนั้น

    • งั้นก็หมายความว่าบริษัทเดียวใช้เงินราว 0.1% ของ GDP สหรัฐฯ ไปกับโปรเจกต์แนวงานอดิเรกที่ยังไม่ใช่ผู้นำตลาดงั้นหรือ?
      เป็นขนาดที่เชื่อได้ยาก และไม่ใช่เรื่องดี
    • Meta กำลังจ่ายค่า GPU เหล่านี้ตลอดหลายปี ไม่ใช่ภายในปีเดียว ค่าใช้จ่ายด้านทุนต่อปีของ Meta อยู่ราว 30,000 ล้านดอลลาร์ และทั้งหมดนั้นก็ไม่ได้ไปลงกับ GPU
      อีกทั้ง Meta ก็คงไม่ได้จ่ายในราคาขายปลีกแน่ ๆ
    • ถ้าอย่างนั้น การซื้อหุ้นคืน 110,000 ล้านดอลลาร์ ของ Apple ก็ใหญ่กว่านั้นอีก
    • หากรวมค่าใช้จ่ายหรือรายได้ของทุกบริษัทเข้าด้วยกัน ยอดรวมอาจสูงกว่า GDP ได้มาก
    • ผมคิดว่าเทียบกับ รายจ่ายของรัฐบาลกลาง น่าจะเหมาะกว่า GDP
      https://fred.stlouisfed.org/series/FYONGDA188S

  • ดูเหมือนว่าเราจะไม่ค่อยรู้สึกถึงความซับซ้อนมหาศาลของ GPU, CPU, SoC สมัยใหม่เท่าไรนัก
    เมื่อเทียบกับกระบวนการผลิตชิป 3nm ที่มีทรานซิสเตอร์หลายหมื่นล้านตัว Manhattan Project ก็ยากจะเรียกว่าเป็นโครงการยักษ์ใหญ่ แม้จะเป็นความก้าวหน้าครั้งสำคัญ แต่เทียบกับการพัฒนาเวเฟอร์ EUV แล้วก็เรียกว่า “ยักษ์ใหญ่” ได้ยาก

    • ความสำเร็จครั้งใหญ่ที่คนไม่ค่อยพูดถึงของ Manhattan Project ก็ควรถูกกล่าวถึงเช่นกัน แกนหลักไม่ใช่นักวิทยาศาสตร์ แต่คือ Hanford และ Oak Ridge
      Hanford ไม่ได้มีแค่เครื่องปฏิกรณ์นิวเคลียร์ แต่ยังเป็นโครงการสร้างเมืองที่มีคนมากกว่า 43,000 คนขึ้นมาจากพื้นที่ที่ไม่มีอะไรเลยจริง ๆ
      ที่ Oak Ridge มี K-25 ซึ่งเป็นอาคารที่ใหญ่ที่สุดในโลกในขณะนั้น และต้องผ่านไปกว่า 20 ปีจึงถูก Boeing Everett Factory แซงหน้า
      ทั้งสองแห่งนี้ยังเป็นศูนย์กลางต้นทุนหลักของโครงการด้วย วิทยาศาสตร์นั้นถูก แต่การเสริมสมรรถนะยูเรเนียมและการผลิตพลูโตเนียม โดยเฉพาะการทำสิ่งที่ไม่เคยมีใครทำมาก่อนนั้น ไม่ได้ถูกเลย
    • 10% คือความซับซ้อนมหาศาล และ 90% คือ อัตรากำไรของ Nvidia

  • รู้สึกทึ่งทุกครั้งที่เห็นคุณภาพของผลงานและฝีมือช่างของสิ่งที่สร้างขึ้นในช่วงประมาณก่อนทศวรรษ 1960
    ไม่รู้เหมือนกันว่าสังคมในตอนนั้นเปลี่ยนมาเป็นสังคมยุคใหม่ที่ฟุ่มเฟือย เชื่องช้า แพง และขาดความทะเยอทะยานแบบนี้เพราะอะไร แต่ถ้าย้อนกลับไปได้ก็อยากกลับไป

    • ผมมองว่าเป็นเพราะ ชนชั้นผู้บริหารมืออาชีพ ในภาคการผลิตและอื่น ๆ มีการปฏิรูปขนาดใหญ่หลายครั้งที่ชูเรื่องการบริหารที่ “มีประสิทธิภาพกว่า” แล้วต่อมาก็ถูกนำไปใช้กับงานความรู้ด้วย
      โดยเฉพาะในงานราชการ/ธุรการของพนักงานออฟฟิศ ความเชี่ยวชาญเฉพาะทางลดลง ตอนนี้ทุกคนแม้กระทั่งแพทย์ก็ต้องทำหน้าที่เหมือนเป็นเลขานุการของตัวเอง
      จากเกร็ดเล่าของคนที่ได้เห็นช่วงเปลี่ยนผ่านด้วยตัวเอง หนึ่งในสิ่งที่วัฒนธรรมการบริหารใหม่นี้ทำพังคือการบริหารเอง โดยเฉพาะผู้บริหารระดับล่างและระดับกลาง
      เมื่อก่อน เวลาที่ผู้จัดการใช้ประชุมกับเพื่อนร่วมงานหรือผู้บังคับบัญชาจะต่างกันแบบค่อยเป็นค่อยไปตามระดับตำแหน่ง และผู้จัดการระดับล่างจะมีประชุมแบบนั้นน้อยกว่า แล้วไปโฟกัสกับความต้องการของลูกน้องและการคงการดำเนินงานให้เดินต่อ
      หลังการเปลี่ยนแปลง ผู้บริหารทุกระดับถูกดูดเข้าไปในวัฒนธรรม ประชุม ประชุม แล้วก็ประชุม และส่วนใหญ่มีคุณค่าน้อย การอวดผลงานกับการเล่นการเมืองก็แทรกซึมลงไปถึงระดับล่างขององค์กรรุนแรงกว่าเดิมมาก
    • ว่ากันว่าเบื้องหลัง Apollo 11 มีคนอยู่ 400,000 คน ถ้าคนเกือบครึ่งล้านทุ่มชีวิตให้กับการสร้างสิ่งเดียว ทุกวันนี้ก็น่าจะยังสร้างผลงานคุณภาพสูงและทำมาอย่างดีได้
      Nvidia: 26,000 คน
      TSMC: 73,000 คน
      Intel: 124,000 คน
      AMD: 25,000 คน
      Qualcomm: 50,000 คน
      ASML: 42,000 คน
      หากดูจากขนาดกำลังคน อุตสาหกรรมเซมิคอนดักเตอร์ทั้งโลก อาจอยู่ในระดับใกล้เคียงกัน
    • ไม่ใช่แค่เรื่องคุณภาพของผลงานกับฝีมือช่างเท่านั้น ค่าแรงคนทำงานไม่ได้เพิ่มขึ้น แต่ผลิตภาพเพิ่มขึ้น คนรวยก็รวยขึ้น ส่วนกลุ่มรายได้ 90% ล่างกลับไม่ได้ดีขึ้น
      เป็นเรื่องค่อนข้างบ้ามากที่ตัวชี้วัดจำนวนมากแย่ลงอย่างต่อเนื่องหลังปี 1971[1]
      [1] https://wtfhappenedin1971.com/
    • หลังสงคราม มี เครื่องมือกล เหลือเฟือ และยังมีประสบการณ์ด้านกระบวนการผลิตโลหะมากมาย
      พลาสติกเทอร์โมพลาสติกสำหรับการฉีดขึ้นรูปที่เหมาะกับการใช้งานกว้างกว่าของเล่นมากยังขาดแคลน
      ค่าแรงที่ค่อนข้างสูงอาจทำให้แรงจูงใจในการประหยัดต้นทุนวัสดุน้อยลง
      ผู้บริโภคยอมจ่ายแพงขึ้นให้สินค้าที่ผลิตขึ้น โดยคาดหวังว่าจะซ่อมได้และใช้ได้นาน
      อุปกรณ์อิเล็กทรอนิกส์ที่ใช้หลอดสุญญากาศมักต้องใช้แรงดันไฟฟ้าสูงและหม้อแปลงหรือแบตเตอรี่ที่หนัก ซึ่งกำหนดให้รูปทรงภายนอกเป็นโลหะหรือไม้ และรูปแบบการใช้งานเป็นแบบไม่พกพา ตัวอย่างเช่น วิทยุสำหรับผู้บริโภคมักถูกผนวกเข้าไปกับเฟอร์นิเจอร์
    • ผมก็มีสมมติฐานของตัวเองอยู่ แต่คงเก็บไว้กับตัวแล้วทุ่มเทให้โปรเจกต์ของผมให้ดีที่สุดจะดีกว่า

  • ถ้าอย่างนั้นก็น้อยกว่าเงินที่ IBM ใช้กับ System/360 หรือเปล่า?
    อ้างคำพูดของ Dijkstra จาก https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...

    I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
    ส่วนถัดมาทันทีหลังจากนั้นก็น่าสนใจ
    I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
    เมื่อตรวจดูประเด็นหลัก https://thehistoryofcomputing.net/the-ibm-system360 ระบุว่า “IBM ใช้เงิน 5 พันล้านดอลลาร์ตามมูลค่าเงินช่วงกลางทศวรรษ 1960” และ Manhattan Project ใช้ 2 พันล้านดอลลาร์
    ตาม https://en.wikipedia.org/wiki/Manhattan_Project ตัวเลขนั้นเป็นดอลลาร์ปี 1945 และเมื่อใช้เครื่องคำนวณเงินเฟ้อ CPI ของ https://www.bls.gov/data/inflation_calculator.htm จะเท่ากับประมาณ 3.5 พันล้านดอลลาร์ในปี 1965
    ถ้าคำนวณย้อนกลับ เงิน 3 หมื่นล้านดอลลาร์ที่ใช้กับการฝึกด้วย GPU นี้จะเท่ากับเพียง 3 พันล้านดอลลาร์ในปี 1965 ดังนั้นจึงถูกกว่า 360

  • ใช้เงินไปมากขนาดนั้นแล้วทำไมถึงยังตาม OpenAI ไม่ทันกันนะ? ทำไม OpenAI ถึงทำได้ดีขนาดนี้?

    • ผมไม่ใช่ผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิง แต่คิดว่าคำว่า “ทำไม่ได้” ออกจะแรงไปหน่อย ถ้าดูพอดแคสต์ที่ Mark Zuckerberg ไปออก จะตีความได้ว่า Meta ไม่ได้อยากแข่งขันแบบชนตรง ๆ กับ OpenAI
      แค่บริการ AI เดิม ๆ อย่างระบบแนะนำก็ใช้ทรัพยากรไปมากอยู่แล้ว โฆษณาเป็นแหล่งสร้างเงินสดทั้งตอนนี้และในอนาคต ส่วนโมเดลภาษาขนาดใหญ่ยังไม่ได้สร้างรายได้ก้อนใหญ่
      รายได้ของ OpenAI ในปี 2023 อยู่ที่ประมาณ 2 พันล้านดอลลาร์ และในปี 2024 น่าจะเพิ่มขึ้นมาก แต่ Meta มีกำไรสุทธิ 4 หมื่นล้านดอลลาร์ในปี 2023 ในเชิงการเงินจึงยังไม่มีเหตุผลต้องไปแข่ง
    • Llama 400B ยังอยู่ระหว่างการฝึก และอาจเหนือกว่าหลายกรณีการใช้งานของ GPT-4 ก็ได้
    • สงสัยว่าได้ลองใช้ meta.ai ที่เปิดให้ใช้ฟรีแล้วหรือยัง ในแง่ความสามารถก็แข่งขันได้พอสมควรแล้ว เพียงแต่ Meta ยังไม่ได้ใส่ใจหรือโปรโมตมากนักเท่านั้น
    • Llama 3 405B ที่ยังอยู่ระหว่างการฝึกก็มีโอกาสไม่น้อยที่จะเหนือกว่าโมเดลที่ดีที่สุดของ OpenAI ในตอนนี้
      หากดูเฉพาะภาษาอังกฤษ Llama 3 70B ชนะทุกโมเดลของ Google และ Anthropic ไปแล้ว แพ้เพียง GPT-4 เวอร์ชันล่าสุดเท่านั้น อ้างอิงจากผลของ Open LLM Arena
    • LLAMA 3 ค่อนข้างดี และงานด้านวิชันอย่าง segment anything ก็ล้ำหน้ามากอยู่แล้ว Facebook มีเส้นทางทำเงินที่แข็งแรงอยู่แล้ว จึงไม่จำเป็นต้องออกเปเปอร์หรือทำเดโมก็ได้

  • มีการเปิดเผยไหมว่า Meta ใช้ GPU เหล่านี้กับการดำเนินงานภายในมากแค่ไหน และประหยัดต้นทุนจากตรงนั้นได้อย่างไรบ้าง?
    นอกจากกล่องแชต “meta ai” ที่น่าผิดหวังแล้ว น่าจะมีพื้นที่อีกมหาศาลที่เอา H100 ไปใช้ได้ ตั้งแต่เอนจินแนะนำคอนเทนต์ ไปจนถึงการป้องกันการใช้งานในทางที่ผิด และการปรับแบนด์วิดท์เครือข่ายกับการไหลของทราฟฟิกให้เหมาะสม

    • @MetaAI ที่เข้ามาเป็นสมาชิกในแชตกลุ่มนั้นค่อนข้างดีเลย สามารถเล่นกับรูปภาพด้วยกัน แต่งเรื่อง ให้เลียนแบบนักเขียน หรือให้เขียนบทหนึ่งของหนังสือห่วย ๆ ได้
      แชตกลุ่มเก่า ๆ หลายกลุ่มที่ไม่มีข้อความมาหลายวัน กลับมามีชีวิตเป็นพื้นที่เล่นกับ AI กันต่อเนื่อง

  • รู้สึกว่าการเปรียบเทียบแบบนี้ตีความยาก ต่อให้ตัดเงินเฟ้อออกไปแล้วก็ตาม เพราะตัวเศรษฐกิจที่ค่าใช้จ่ายเหล่านี้สังกัดอยู่ก็เติบโตขึ้นด้วย
    ถ้าแสดงต้นทุนเป็นสัดส่วนเมื่อเทียบกับเศรษฐกิจโลก เศรษฐกิจของภูมิภาคอย่างยุโรปหรือเขตเศรษฐกิจจีนวงกว้าง หรือเทียบกับเศรษฐกิจของประเทศ น่าจะชัดเจนกว่า
    ผมอาจพลาดอะไรไปก็ได้

  • ไม่เข้าใจว่าทำไมทุกคนพูดแต่เรื่องเงินเฟ้อ ในยุค Manhattan Project ถ้าจะสร้างอุปกรณ์อย่าง GPU สมัยใหม่ คงต้องสร้างซูเปอร์คอมพิวเตอร์ที่ใหญ่และแพงกว่าโครงการนั้นเองมาก
    เทคโนโลยีถูกลงอย่างมหาศาล วัสดุที่ต้องใช้ก็น้อยลง และค่าใช้จ่ายด้านการวิจัยก็ถูกจ่ายไปแล้ว

  • ถ้าคำพูดนั้นจริง ผมอยากเสริมว่า เงินทั้งหมดนั้นมาจาก ความสนใจของมนุษย์ ที่ถูกโฆษณาแย่งชิงไป และจากการหาประโยชน์จากข้อมูลส่วนตัวของผู้ใช้ ยินดีด้วยนะ มนุษยชาติ
    ถ้าเอาเงินแบบนั้นไปใช้ในด้านที่เป็นประโยชน์ เราจะทำอะไรสำเร็จได้บ้าง?

    • กลับกัน ภาคอุตสาหกรรมหนักด้านอื่น ๆ ของเศรษฐกิจถูกผูกขาดไปแล้ว จึงใกล้เคียงกับสภาพที่ทำอะไรให้สำเร็จได้ยาก
      ตอน Google เข้าไปในธุรกิจโทรคมนาคม ดูเหมือนว่าจะโค่นพวกปรสิตเก่า ๆ อย่าง AT&T, Verizon, Comcast ได้ง่าย ๆ แต่ความจริงเกิดอะไรขึ้น?
      กรณีที่ Apple พยายามเข้าไปในรถยนต์ ธนาคาร (บัตรเครดิต) และคอนเทนต์ ก็เป็นเรื่องเดียวกัน
      ดังนั้นเงินจึงลงเอยด้วยการถูกใช้แบบนี้ Exxon, Monsanto, Pfizer, Boeing แตะต้องไม่ได้ และที่อยู่อาศัย การศึกษา การแพทย์ ธนาคาร ก็ทำอะไรไม่ได้
      ท้ายที่สุด การเผาเงินสดไปกับของใหม่ ๆ จึงกลายเป็นเส้นทางพื้นฐานที่มีแรงต้านน้อยที่สุด “ด้านที่เป็นประโยชน์” ล้วนถูกกำแพงขวางไว้หมด
    • Meta ไม่ได้ขายข้อมูลส่วนตัว แค่ใช้มันกับโฆษณาเท่านั้น