- การใช้พลังงานต่อคำสั่ง AI หนึ่งครั้งอาจดูเล็กน้อย แต่เมื่อมีคำขอสะสมกันนับพันล้านครั้งทั่วโลก ก็อยู่ในระดับที่ ส่งผลต่อโครงข่ายพลังงานอย่างมีนัยสำคัญ
- บริษัท AI รายใหญ่กำลัง เร่งการลงทุนในศูนย์ข้อมูลและโครงสร้างพื้นฐานด้านไฟฟ้ามูลค่าหลายล้านล้านวอน และบางแห่งถึงขั้น วางแผนสร้างโรงไฟฟ้านิวเคลียร์
- ปริมาณการใช้พลังงานของคำสั่ง AI แตกต่างกันได้มากกว่าหลายร้อยเท่าตามขนาดและความซับซ้อนของโมเดล และในกรณีของโมเดลแบบปิด ข้อมูลการใช้พลังงานที่แม่นยำ แทบไม่เป็นที่รู้กันเลย
- ไฟฟ้าที่ AI ใช้ส่วนใหญ่ยังคง พึ่งพาโครงข่ายไฟฟ้าที่ขับเคลื่อนด้วยเชื้อเพลิงฟอสซิล ส่งผลให้ ความเข้มข้นการปล่อยคาร์บอนสูงกว่าค่าเฉลี่ย 48%
- หากการใช้งาน AI ขยายตัวต่อเนื่อง ภายในปี 2028 คาดว่าไฟฟ้ามากกว่าครึ่งหนึ่งของศูนย์ข้อมูลในสหรัฐจะถูกใช้ไปกับ AI
Making the Model: จุดเริ่มต้นของการฝึกโมเดล AI
- โมเดล AI ถูกฝึกเป็นเวลาหลายเดือน โดย ใช้ไฟฟ้าระดับหลายสิบกิกะวัตต์ชั่วโมงในศูนย์ข้อมูล
- การฝึก GPT-4 เพียงอย่างเดียวต้องใช้ เงินมากกว่า 50 ล้านดอลลาร์และไฟฟ้า 50GWh ซึ่ง เพียงพอสำหรับจ่ายไฟให้ทั้งซานฟรานซิสโกได้นาน 3 วัน
- การอนุมาน (inference) คิดเป็น 80~90% ของการใช้ไฟฟ้าทั้งหมดของ AI และบทบาทของศูนย์ข้อมูลที่มี GPU เป็นศูนย์กลางถือว่าสำคัญอย่างยิ่ง
- H100 GPU ของ NVIDIA เป็นหัวใจหลักของงานอนุมาน AI โดยทำงานในรูปแบบคลัสเตอร์ที่เชื่อมต่อกันนับพันตัว
A Query: พลังงานที่คำถามหนึ่งข้อใช้ไป
- แม้จะเป็นโมเดล AI เดียวกัน ปริมาณการใช้พลังงานและการปล่อยคาร์บอนก็แตกต่างกันอย่างมากตามประเภทคำถาม ตำแหน่งที่ใช้งาน และช่วงเวลา
- โมเดล Llama 3.1 8B ใช้พลังงานเฉลี่ย 114 จูล (J) ส่วน Llama 3.1 405B ใช้ 6,706 จูล
- การสร้างภาพหนึ่งภาพด้วย Stable Diffusion 3 Medium ใช้ 2,282 จูล และหากเป็นภาพความละเอียดสูงหรือวิดีโอ อาจใช้พลังงานตั้งแต่หลายแสนถึงหลายล้านจูล
- การสร้างวิดีโอใช้พลังงานมากกว่าภาพนิ่งกว่า 700 เท่า และหาก AI สร้างวิดีโอได้รับความนิยมในวงกว้าง ก็อาจทำให้ การใช้ไฟฟ้าพุ่งสูงขึ้น
Fuel and Emissions: แหล่งที่มาของไฟฟ้าที่ AI ใช้
- ศูนย์ข้อมูล AI ดำเนินงานด้วยพลังงานแบบไม่ต่อเนื่องอย่างแสงอาทิตย์และลมได้ยาก จึงใช้ไฟฟ้าที่มี ความเข้มข้นคาร์บอนสูงกว่าโดยเฉลี่ย
- ตัวอย่าง: ในปี 2024 ไฟฟ้าทั้งหมดของสหรัฐ 60% มาจากเชื้อเพลิงฟอสซิล พลังงานนิวเคลียร์ 20% และพลังงานหมุนเวียนอีก 20%
- ในแต่ละภูมิภาค เช่น แคลิฟอร์เนียกับเวสต์เวอร์จิเนีย มี ความแตกต่างของการปล่อยคาร์บอนเกือบ 2 เท่า
- ในอนาคต Meta, Google และ Amazon ได้ประกาศ ร่วมลงทุนเพื่อขยายโรงไฟฟ้านิวเคลียร์ แต่ กว่าจะสร้างเสร็จต้องใช้เวลาหลายสิบปี
AI around the corner: AI ที่กำลังเข้าสู่การใช้งานในวงกว้างและพลังงานที่พุ่งสูงขึ้น
- ปัจจุบัน ChatGPT เป็น เว็บไซต์ที่มีผู้เข้าชมมากเป็นอันดับ 5 ของโลก และมี คำสั่งมากกว่า 1 พันล้านครั้งต่อวัน
- ตามการประเมิน คำสั่ง GPT หนึ่งครั้งใช้พลังงาน 1,080 จูล รวมเป็น 1,090GWh ต่อปี = ไฟฟ้าสำหรับบ้านในสหรัฐ 10,400 หลังตลอด 1 ปี
- เมื่อรวมวิดีโอและภาพเข้าไป จะมี การใช้ไฟฟ้าเพิ่มอีกมากกว่า 35GWh ต่อปี และคาดว่าจะเพิ่มขึ้นอีกเมื่อ AI agent, โหมดเสียง และ AI ที่อาศัยการรู้จำวิดีโอ เริ่มใช้งานอย่างจริงจัง
- อนาคตที่ AI ลงมือทำงานได้เองและปรับให้เหมาะกับผู้ใช้จากข้อมูลส่วนบุคคล ทำให้ไม่สามารถอธิบายความต้องการพลังงานได้ด้วยการคาดการณ์ในระดับคำสั่งเดี่ยวอีกต่อไป
The Future Ahead: การคาดการณ์ความต้องการพลังงานจนถึงปี 2028
- ศูนย์ข้อมูลสำหรับ AI ในสหรัฐใช้ไฟฟ้า 76TWh ในปี 2024 เทียบเท่ากับ ครัวเรือน 7.2 ล้านหลัง
- ภายในปี 2028 คาดว่าจะใช้ไฟฟ้า 165~326TWh ซึ่งเทียบเท่ากับ 22% ของการใช้ไฟฟ้าภาคครัวเรือนทั้งหมดในสหรัฐ
- ปริมาณนี้เทียบเท่ากับ การปล่อยคาร์บอนจากการขับรถ 300,000 ล้านไมล์ และสัดส่วนการใช้ไฟฟ้าของศูนย์ข้อมูลคาดว่าจะเพิ่มขึ้นสามเท่าจาก 4.4% → 12%
- SoftBank, OpenAI และรายอื่น ๆ กำลัง ลงทุนในศูนย์ข้อมูลและโครงสร้างพื้นฐานด้านไฟฟ้ามูลค่าระดับ 500 ล้านล้านวอน พร้อมก่อสร้างโครงสร้างพื้นฐานขนาดเท่าสนามฟุตบอลในหลายพื้นที่ทั่วโลก
Transparency Gap: ช่องว่างด้านความโปร่งใสและภาระที่ตกกับประชาชน
- บริษัท AI ส่วนใหญ่ ไม่เปิดเผยการใช้พลังงานระหว่างการอนุมานของโมเดล ซึ่งนำไปสู่ การคาดการณ์สาธารณะที่ทำได้ยาก
- หน่วยงานพลังงานของรัฐบาลสหรัฐ (EIA) ก็ยัง ไม่ได้จัด AI เป็นหมวดอุตสาหกรรมแยกต่างหาก ทำให้สถิติยังไม่เพียงพอ
- ตามรายงานของรัฐเวอร์จิเนีย ค่าไฟของครัวเรือนทั่วไปอาจเพิ่มขึ้นเดือนละ 37.5 ดอลลาร์ จากต้นทุนพลังงานของศูนย์ข้อมูล
- ประชาชนอาจต้องเป็นผู้แบกรับต้นทุนของโครงสร้างพื้นฐาน AI และ จำเป็นต้องมีการถกเถียงทางสังคมในเรื่องนี้
2 ความคิดเห็น
ยิ่งมาคิดดูอีกที ก็ยิ่งรู้สึกว่า Google Gemini ที่รันบน TPU ภายในของตัวเองนี่น่าทึ่งจริง ๆ...
ความคิดเห็นจาก Hacker News
แชร์ลิงก์ http://archive.today/mnHb8
กล่าวถึงข่าวที่บริษัทเทคอย่าง Meta, Amazon, Google ประกาศเป้าหมายใช้พลังงานนิวเคลียร์เพื่อตอบสนองต่อปัญหาเชื้อเพลิงฟอสซิล โดยอธิบายว่าทั้งสามบริษัทเข้าร่วมคำมั่นที่จะเพิ่มกำลังการผลิตไฟฟ้านิวเคลียร์ทั่วโลกเป็นสามเท่าภายในปี 2025 แต่เมื่อดูจากบทความเมื่อวาน วันที่นี้กลับรู้สึกแปลกอยู่พอสมควร และชี้ว่าจริง ๆ แล้วเป้าหมายคือปี 2050 แม้บทความจะมีส่วนแปลก ๆ แบบนี้และใช้แหล่งข่าว "ผู้เชี่ยวชาญ" มากเกินไป แต่ก็ยังประเมินในแง่บวกว่าอย่างน้อยก็มีคนพยายามทำให้ประเด็นนี้วัดเป็นตัวเลขได้
สิ่งที่แปลกที่สุดในบทความนี้คือ บริษัทยักษ์ใหญ่ด้านเทคโนโลยีปฏิเสธจะเปิดเผยข้อมูลแบบนี้ ไม่ควรปล่อยให้ผู้เชี่ยวชาญต้องเดา สังคมจำเป็นต้องเข้าถึงข้อมูลสำหรับการตัดสินใจที่ส่งผลต่อคนทั้งโลก
แสดงความสงสัยว่าส่วนแปลก ๆ แบบนั้นเป็นแค่การพิมพ์ผิดธรรมดา หรือมองว่าแปลกจริง ๆ กันแน่
สมัยก่อนเวลาโพสต์ลง Usenet มักจะมีคำเตือนติดมาว่า "โปรแกรมนี้จะส่งข่าวไปยังคอมพิวเตอร์นับพันเครื่องทั่วโลก โพสต์ของคุณทำให้เครือข่ายมีต้นทุนหลายร้อยหรือหลายพันดอลลาร์ โปรดพิจารณาให้รอบคอบว่าต้องการโพสต์จริงหรือไม่" เลยจินตนาการว่าทุกวันนี้ไคลเอนต์ LLM ก็น่าจะมีคำเตือนแบบนี้ด้วยไหม เช่น คำนวณให้เห็นว่าคำขอหนึ่งครั้งก่อคาร์บอนจากการรอประมวลผลเท่าไร
ในบางประเทศมีวัฒนธรรม "rolling coal" (ปล่อยควันดำจากรถยนต์เกินปกติ) จึงกังวลว่าคำเตือนแบบนี้อาจให้ผลย้อนกลับ
มองว่าคำเตือนที่ยกมาจริง ๆ แล้วสื่อความหมายตรงกันข้าม และเหตุผลที่คำเตือนแบบนั้นหายไปก็คงเพราะต้นทุนลดลงมากแล้ว เรื่องคล้ายกันก็อาจเกิดกับ AI ได้เช่นกัน
ทำให้นึกถึงข้อความท้ายอีเมลขนาดใหญ่ที่บอกให้คำนึงถึงผลกระทบต่อสิ่งแวดล้อมก่อนพิมพ์ ซึ่งในประสบการณ์จริงกลับทำให้เปลืองกระดาษเพิ่มอีกหนึ่งหน้าโดยไม่จำเป็น
มองว่าข้อความเตือนนี้น่าสนใจ ตัวข้อความเองไม่ได้ก่อค่าใช้จ่ายมากนัก แต่คอมพิวเตอร์ที่ส่งข้อความต่างหากที่เป็นต้นทุน และยิ่งปริมาณข้อความที่ส่งมาก ต้นทุนต่อหน่วยก็ยิ่งต่ำลง
ย้ำว่า ถ้าไม่ได้ติดคำเตือนแบบนี้กับทุกอย่าง การโจมตีเฉพาะ AI เรื่องใช้พลังงานก็ดูไม่ยุติธรรม
คิดว่าหัวใจสำคัญคือการทำให้ต้นทุนการปล่อยคาร์บอนถูกรวมอยู่ในค่าไฟฟ้า การให้ผู้ใช้แต่ละคนมานั่งกังวลเป็นเรื่องที่ทำให้ไขว้เขว เพราะเมื่อภาคขนส่ง ความร้อน และอุตสาหกรรมเปลี่ยนเป็นไฟฟ้าหมด ความต้องการก็จะพุ่งขึ้นอยู่ดี จึงจำเป็นต้องเร่งลดคาร์บอนของไฟฟ้าอย่างรวดเร็ว
เห็นด้วย แต่การลดการบริโภคหรือเพิ่มประสิทธิภาพก็เป็นส่วนสำคัญของกระบวนการเปลี่ยนผ่านด้านพลังงานเช่นกัน ถ้าไม่ใช้ ก็ไม่จำเป็นต้องผลิต
การจะรวมต้นทุนแบบนี้เข้าไปได้ สังคมต้องตกลงกันก่อนว่าต้นทุนการปล่อยคาร์บอนคือ "อะไร" ซึ่งในความเป็นจริง การทำให้ไฟฟ้ามีมากพอและมีประสิทธิภาพสูงอาจเป็นเส้นทางที่ง่ายกว่า เพราะตัวสังคมเองไม่ได้ปรับปรุงกันได้ง่าย ๆ
มีความเห็นว่า "DeepSeek มี 6 แสนล้านพารามิเตอร์ แต่จริง ๆ แล้วใช้สถาปัตยกรรม mixture-of-experts จึงใช้เพียงราว 12.5% ต่อหนึ่งโทเคน (ถ้าจำไม่ผิด)" ถ้าไม่ระบุเรื่องนี้ไว้ ความน่าเชื่อถือของบทความก็จะลดลง พร้อมแชร์การวิเคราะห์ที่เชื่อถือได้มากที่สุดเกี่ยวกับการใช้พลังงานของข้อความ (ลิงก์ epoch.ai) โดยระบุว่าคำถามทั่วไปหนึ่งครั้งใช้เฉลี่ย 0.3Wh และอาจสูงสุดถึง 40Wh เมื่อใช้บริบทสูงสุด การใช้งานส่วนใหญ่ต่ำกว่านี้มาก จึงมองว่าพลังงานที่ใช้กับข้อความอย่างเดียวค่อนข้างเล็กเมื่อเทียบกับประโยชน์ แต่การสร้างวิดีโอกลับใช้พลังงานสูงมาก และอยากเห็นการวิเคราะห์ตัวเลขแบบนี้กับการสร้างโค้ดด้วย LLM เช่นกัน
ในเธรดนี้มีคอมเมนต์จำนวนมากที่พยายามทำให้การใช้พลังงานมหาศาลดูสมเหตุสมผล ขณะที่เทคโนโลยีนี้ตอนนี้ถูกใช้กับเรื่องไร้สาระอย่างสแปมข้อความ/ภาพเป็นอย่างมาก ซึ่งตัดกับตอนถกเถียงเรื่องพลังงานของคริปโตอย่างน่าประหลาด อาจเป็นเพราะบริษัทยักษ์ใหญ่ด้านเทคเป็นนายจ้างรายสำคัญ จึงมีบรรยากาศเหมือนยอมรับกันไป
AI อย่างน้อยก็ยังมีข้อดีในทางทฤษฎี แต่คริปโตนั้นสิ้นเปลืองโดยการออกแบบ อย่างไรก็ตาม โครงสร้างต้นทุน-ประโยชน์ของ AI ในโลกจริงก็ยังไม่แน่ชัด
ราคาของ Bitcoin ยิ่งสูง การใช้พลังงานก็ยิ่งเพิ่ม แต่ต้นทุนของการอนุมาน LLM กลับลดลงอย่างรวดเร็ว (มีลิงก์อ้างอิง) และ Apple, Google ก็พยายามใช้ทั้งดาต้าเซ็นเตอร์ของตนเองและ AI บนอุปกรณ์ไปพร้อมกัน ขณะเดียวกันก็ยังมีการพัฒนาอัลกอริทึมที่มีต้นทุนสูงกว่าอยู่เรื่อย ๆ แต่ก็เป็นไปได้ว่าการใช้งานส่วนใหญ่จะถูกลงจนรันได้บนอุปกรณ์ที่มีข้อจำกัดด้านแบตเตอรี่ เช่น โน้ตบุ๊กและโทรศัพท์
มองว่าจุดเชื่อมกับกระแสคริปโตน่าสนใจ เพราะเมื่อกระแสแบบนี้เริ่มขึ้นแล้ว ธรรมชาติของมนุษย์ก็มักทำให้ย้อนกลับได้ยาก
มีคนแชร์ความทรงจำว่าเมื่อก่อนบรรยากาศเรื่องคริปโตบน HN ไม่ได้เป็นลบเท่าตอนนี้
พูดติดตลกว่า การใช้พลังงานของคริปโต โดยเฉพาะ Bitcoin PoW นั้นสิ้นเปลืองจริง
ช่างน่าขันที่กำลังอ่านเรื่องนี้อยู่ในขณะที่หน้านี้เองก็ไม่แน่ชัดว่าทำอะไรบ้าง แต่กลับใช้ CPU ของฉันเต็มที่เพราะ JavaScript
อยากให้เบราว์เซอร์จำกัดการใช้ CPU ของแต่ละหน้าอย่างเข้มงวด และถ้าจำเป็นต้องใช้ทรัพยากร CPU เพิ่ม ก็ควรขอสิทธิ์จากผู้ใช้อย่างชัดเจนเหมือนกล้อง
มีคนบอกว่าก่อนมื้อเที่ยงก็คิดคล้ายกันและแชร์บล็อกโพสต์เกี่ยวกับ tabdouse พร้อมเสริมว่าแม้จะมีลูกเล่นอย่าง cgroups แต่ก็ยังไม่ได้น่าพอใจทั้งหมด
ตอนนี้ AI ดูคล้ายยุคแรกของคอมพิวเตอร์แบบ "เมนเฟรม" เครื่องขนาดใหญ่กินพื้นที่ทั้งห้อง ใช้ไฟมหาศาล แต่ประสิทธิภาพยังด้อยกว่าสมาร์ตโฟนทุกวันนี้ มองว่าในอนาคตการเพิ่มประสิทธิภาพของโมเดลและฮาร์ดแวร์เฉพาะทางจะเกิดขึ้นอย่างรวดเร็ว การอนุมานแบบโลคัลผ่านชิปสำหรับ AI จะช่วยลดพลังงานของงานส่วนใหญ่ลงมาก และทำให้ทรัพยากรคอมพิวต์ขนาดใหญ่ไปโฟกัสที่ปัญหาวิทยาศาสตร์ซับซ้อนได้ ซึ่งเป็นจุดที่มีความหมาย
แม้มักมีการอ้างเส้นโค้งพัฒนาการของ CPU ว่าเติบโตแบบเอ็กซ์โปเนนเชียล แต่ความจริงแทบใช้ไม่ได้กับสาขาอื่นเลย เซมิคอนดักเตอร์เติบโตได้เพราะเงื่อนไขพิเศษที่โชคดีมาก ส่วนแบตเตอรี่ ฟิวชันนิวเคลียร์ และควอนตัมคอมพิวติงไม่ได้เป็นแบบนั้น และในสายเซมิคอนดักเตอร์เองก็แทบเก็บ "ผลไม้ที่อยู่ต่ำ" ไปหมดแล้ว ดังนั้นประสิทธิภาพของ AI ก็อาจไม่ได้เติบโตแบบก้าวกระโดดในทันที ความเป็นไปได้ที่สมจริงกว่าคือความก้าวหน้าแบบช้า ๆ ต่อเนื่องอีกหลายสิบปี และไม่มีทางลัดที่จะทำให้ความต้องการระดับหลายพันล้านพารามิเตอร์กับการคำนวณระดับมหาศาลหายไปในพริบตา เว้นแต่ว่า photonic computing จะเป็นคำตอบหรือไม่
มีความเห็นว่าส่วนตัวไม่ค่อยเข้าใจเรื่อง "ชิปสำหรับ AI" เพราะ LLM เองก็เป็นเทคโนโลยีที่ออกแบบมาให้เหมาะกับ GPU ตั้งแต่แรก ฮาร์ดแวร์ก็มีอยู่แล้ว ปัญหาคือ GPU ยิ่งใหญ่ขึ้น ร้อนขึ้น และกินไฟมากขึ้น ถ้ามีอะไรดีกว่า GPU จริงก็คงย้ายไปใช้กันแล้ว และถ้ามีโครงสร้างที่ย้อนกลับไปใช้ CPU แล้วมีประสิทธิภาพกว่าจริง ก็คงเปลี่ยนกันไปแล้วเช่นกัน
มีคนแปลกใจที่โน้ตบุ๊กเก่าของตัวเองอายุ 7 ปี ยังรันโมเดล Gemma ขนาดเล็กได้ค่อนข้างง่าย และจินตนาการถึงการเพิ่มประสิทธิภาพด้วยการส่งเฉพาะบางงานให้ LLM แล้วปล่อยให้งานที่เหลือเป็นหน้าที่ของโปรแกรมแบบเดิม
บอกว่านี่คือบทความที่ดีที่สุดเท่าที่เคยอ่านมาเกี่ยวกับการใช้พลังงานของ AI และประทับใจที่บริษัทยักษ์ใหญ่ด้านเทคไม่เต็มใจจะให้ข้อมูลที่จำเป็นต่อการตัดสินใจของสังคม พร้อมแนะนำซีรีส์พอดแคสต์ Data Vampires ที่ขุดลึกเรื่องนี้
มองว่าเนื้อหาในบทความที่บอกว่าหลังเริ่มนำ AI มาใช้ในปี 2017 ดาต้าเซ็นเตอร์ก็ถูกสร้างด้วยฮาร์ดแวร์ที่กินพลังงานสูงขึ้นจนทำให้การใช้ไฟฟ้าเพิ่มเป็นสองเท่าภายในปี 2023 นั้นน่าสนใจ แต่จริง ๆ แล้วการมาของ generative AI เริ่มเด่นชัดหลัง ChatGPT เปิดตัวในเดือนพฤศจิกายน 2022 ดังนั้นการเติบโตของ AI ระหว่างปี 2017–2022 ส่วนใหญ่ก็น่าจะยังไม่ใช่ generative AI
ปี 2017 คือปีถัดจากที่ AlphaGo ชนะ Lee Sedol และเป็นปีที่ตีพิมพ์งาน "attention is all you need" ดังนั้นในภาคอุตสาหกรรมก็มีสัญญาณล่วงหน้าอยู่แล้ว เพียงแต่ OpenAI เพิ่งมาประสบความสำเร็จด้าน product-market fit ในปี 2022 ไม่ได้แปลว่าอุตสาหกรรมนี้หลงทางมาตลอด
นับจากช่วงนั้น การใช้ GPU กับแมชชีนเลิร์นนิงก็เริ่มจริงจังขึ้นอย่างชัดเจน
Meta ใช้ AI อย่างจริงจังอยู่แล้วในทุกส่วนของบริการตัวเอง ทั้งการค้นหา การแนะนำ และกราฟ ทำให้ก่อนกระแส LLM จะบูม บริษัทก็มี GPU เตรียมไว้แล้วตั้งแต่หลักหมื่นถึงหลักแสนตัว และทำให้อยู่ในตำแหน่งที่ได้เปรียบสำหรับการทำโปรเจกต์สำคัญอย่าง Llama