- การคำนวณแบบกรอถอยหลัง (reversible computing) เป็นแนวทางเชิงทฤษฎีที่รันการคำนวณย้อนทิศทางเพื่อ ประหยัดพลังงานโดยไม่ต้องลบข้อมูล และกำลังถูกจับตาในฐานะทางเลือกสำหรับแก้ปัญหาการใช้พลังงานของ AI
- คอมพิวเตอร์แบบเดิมจะ ปล่อยความร้อน (พลังงาน) ออกมาอย่างหลีกเลี่ยงไม่ได้เมื่อมีการลบข้อมูล ซึ่งไม่อาจหลีกเลี่ยงได้เพราะข้อจำกัดทางฟิสิกส์ (หลักการของ Landauer)
- แนวคิด Uncomputation คือเก็บไว้เฉพาะผลลัพธ์ของการคำนวณ แล้วทำส่วนที่เหลือ ย้อนกระบวนการคำนวณกลับ เพื่อประมวลผลโดยไม่สูญเสียข้อมูล แต่ยังมีข้อจำกัดเชิงปฏิบัติ เช่น ความเร็วและต้นทุนหน่วยความจำ
- ล่าสุดมีการพิสูจน์เชิงประจักษ์ว่า ในงานอย่าง AI ที่มีการประมวลผลแบบขนานจำนวนมาก หากใช้งานชิป reversible หลายตัวที่ทำงานช้าลง จะให้ ผลด้านการประหยัดพลังงานสูง
- ภาคอุตสาหกรรมและนักวิจัย กำลังเริ่มพัฒนาชิป reversible เชิงพาณิชย์จริง ทำให้ความเป็นไปได้ของ นวัตกรรมด้านประสิทธิภาพพลังงานของ AI เข้าใกล้ความจริงมากขึ้น
การสูญเสียพลังงานพื้นฐานของการคำนวณคอมพิวเตอร์
- เมื่อคอมพิวเตอร์บวกเลขสองจำนวน เช่น 2 + 2 = 4 จะเหลือไว้เพียง เอาต์พุตหนึ่งค่า จาก อินพุตสองค่า
- ข้อมูลบางส่วนจึงหายไป ทำให้การคำนวณมีลักษณะ ไม่ผันกลับได้ และข้อมูลที่ถูกลบนี้จะเปลี่ยนเป็น พลังงานความร้อน
- คอมพิวเตอร์ส่วนใหญ่ทำงานด้วยวิธีนี้ จึงหลีกเลี่ยงไม่ได้ที่จะมี การสูญเสียข้อมูล (และเกิดความร้อน) อยู่เสมอในระดับพื้นฐาน
ข้อเสนอเรื่องการคำนวณแบบผันกลับได้ของ Landauer และข้อจำกัด
- Landauer เสนอแนวคิดเรื่อง การคำนวณที่ลดการสูญเสียพลังงาน ด้วยการบันทึกผลของทุกการคำนวณไว้โดยไม่ลบข้อมูล
- แต่คอมพิวเตอร์ลักษณะนี้มีปัญหาเรื่อง หน่วยความจำเต็มอย่างรวดเร็วในโลกความเป็นจริง จึงขาด ความสามารถในการใช้งานจริง
- ท้ายที่สุด Landauer จึงมองว่า การคำนวณแบบผันกลับได้ เป็นทางตัน
ไอเดีย uncomputation (การคำนวณย้อนกลับ) ของ Bennett
- ในปี 1973 Charles Bennett แห่ง IBM เสนอวิธีเก็บไว้เฉพาะผลลัพธ์ของการคำนวณ แล้วลบส่วนที่เหลือด้วยการ รันกระบวนการคำนวณย้อนกลับ (uncomputation)
- เปรียบได้กับ Hansel และ Gretel ที่เก็บเศษขนมปังกลับคืน คือสามารถ เก็บไว้เฉพาะข้อมูลที่จำเป็น และกำจัดส่วนอื่นโดยไม่สูญเสียข้อมูล
- วิธีนี้มีข้อเสียคือ ใช้เวลาคำนวณเพิ่มเป็น 2 เท่า จึงถูกมองว่าไม่มีประสิทธิภาพ
งานวิจัยที่ทำให้ใช้งานได้จริงมากขึ้น
- ในปี 1989 Bennett แสดงให้เห็นว่า หากใช้ หน่วยความจำ เพิ่มขึ้นเล็กน้อย ก็สามารถลดเวลาคำนวณลงได้มาก
- หลังจากนั้นนักวิจัยก็ศึกษาวิธี ปรับสมดุลหน่วยความจำและเวลา อย่างต่อเนื่อง
- อย่างไรก็ตาม คอมพิวเตอร์ไม่ได้สูญเสียพลังงานเพียงจากการลบข้อมูลเท่านั้น แต่ยังสูญเสียจาก ความไม่มีประสิทธิภาพของโครงสร้างการเชื่อมต่อทรานซิสเตอร์ เองด้วย
- หากต้องการสร้าง คอมพิวเตอร์แบบผันกลับได้ที่ประหยัดพลังงานจริง ก็จำเป็นต้องมีโครงสร้างที่ ลดการสูญเสียความร้อน ตั้งแต่ขั้นตอนการออกแบบ
ชิปต้นแบบของ MIT และปฏิกิริยาจากอุตสาหกรรม
- ในช่วงทศวรรษ 1990 วิศวกรของ MIT ได้สร้าง ชิปต้นแบบ ที่เพิ่มประสิทธิภาพของวงจร
- Frank เข้าร่วมในฐานะนักศึกษาปริญญาเอก และต่อมากลายเป็นนักวิชาการคนสำคัญของ reversible computing
- แต่ในบริบทที่ประสิทธิภาพของชิปแบบเดิมพัฒนาอย่างรวดเร็ว ภาคอุตสาหกรรมกลับ ไม่สนใจทางเลือกเชิงทฤษฎีนี้มากนัก ทำให้การสนับสนุนมีอย่างจำกัด
- Frank เองก็เคยหยุดงานวิจัยนี้ไปช่วงหนึ่งเพื่อหาทางอื่น
- อย่างไรก็ตาม เมื่อ การย่อส่วนวงจรเข้าใกล้ขีดจำกัด ความสนใจต่อปัญหาประสิทธิภาพพลังงานก็เพิ่มสูงขึ้นอย่างมาก
ประสิทธิภาพด้านพลังงานของ reversible computing และความเป็นไปได้ในการใช้กับ AI
- ในปี 2022 Hannah Earley จาก Cambridge ได้วิเคราะห์ ประสิทธิภาพด้านพลังงานของคอมพิวเตอร์แบบผันกลับได้ อย่างละเอียด
- คอมพิวเตอร์แบบผันกลับได้ปล่อย ความร้อนน้อยกว่า แบบเดิม แต่ก็ ไม่อาจไร้ความร้อนได้อย่างสมบูรณ์
- โดยเฉพาะอย่างยิ่ง พบว่าเมื่อคอมพิวเตอร์แบบผันกลับได้ ทำงานช้าลง การปล่อยความร้อนก็จะลดลง
- งานคำนวณของ AI เป็นงานใน สภาพแวดล้อมการประมวลผลแบบขนาน ดังนั้นยิ่งให้แต่ละชิปทำงานช้าลงและเพิ่มจำนวนชิป ก็ยิ่งคาดหวังได้ถึง การลดการใช้พลังงานรวม
- ความเร็วที่ช้าลงยังช่วยลดต้นทุนการระบายความร้อน ทำให้มีโอกาส วางชิปได้หนาแน่นขึ้น และประหยัดพื้นที่กับวัสดุ ด้วย
ความเคลื่อนไหวสู่เชิงพาณิชย์และแนวโน้ม
- เมื่อนักลงทุนเริ่มให้ความสนใจ Earley และ Frank จึงร่วมก่อตั้ง Vaire Computing และเริ่มพัฒนา ชิป reversible เชิงพาณิชย์
- Mogensen แห่งมหาวิทยาลัยโคเปนเฮเกนและคนอื่น ๆ แสดงความคาดหวังอย่างมากว่าโปรเซสเซอร์แบบผันกลับได้จะถูกนำไปใช้ในงานจริง
- สถานการณ์ในตอนนี้คือ reversible computing ซึ่งอยู่ในระดับทฤษฎีมานานหลายทศวรรษ กำลังถูกจับตาว่าจะสร้างนวัตกรรมที่จับต้องได้ในด้าน AI และประสิทธิภาพพลังงานได้หรือไม่
บทสรุป
- reversible computing เป็นแนวทางที่ใช้งานได้จริงในการก้าวข้ามข้อจำกัดทางฟิสิกส์ของคอมพิวเตอร์ที่ก่อให้เกิดความร้อนเมื่อมีการลบข้อมูล และกำลังได้รับความสนใจในฐานะเทคโนโลยีลดพลังงานขนาดใหญ่สำหรับยุค AI
- แนวทางการใช้งานชิปแบบช้าแต่ขนานจำนวนมาก กำลัง สอดคล้องกับลักษณะเชิงโครงสร้างของงานคำนวณ AI จนทำให้การนำไปใช้เชิงพาณิชย์เข้าใกล้มากขึ้น
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ในนวนิยาย Time ของ Stephen Baxter มีพล็อตว่าในอนาคตอันไกลโพ้น หลังจากดาวทุกดวงดับสูญและหลุมดำทั้งหมดระเหยไปแล้ว ลูกหลานของมนุษยชาติยังคงอยู่ในจักรวาลที่มีเอนโทรปีสูงสุด ในสภาวะที่พลังงานอิสระถูกใช้หมดสิ้นแล้ว ลูกหลานเหล่านี้ดำรงอยู่ด้วยการทำซ้ำเหตุการณ์เดิมภายในซิมูเลชันขนาดมหึมา โดยใช้เฉพาะการคำนวณแบบผันกลับได้เท่านั้น (ทำงานได้โดยไม่ใช้พลังงาน) วนลูปเหตุการณ์เดิมซ้ำ ๆ ด้วยการ uncompute ผลการคำนวณแล้ว compute ใหม่
ในมุมของวิศวกรซอฟต์แวร์ มีการพูดถึงว่าประเด็นนี้เข้าใจได้ไม่ง่ายนัก รู้สึกสับสนเมื่อเจอแนวคิดที่ว่าการลบข้อมูลทำให้อิเล็กตรอนสูญหาย อิเล็กตรอนเหมือนจะสูญหายอยู่ทุกแห่งอยู่แล้ว และเกตส่วนใหญ่ก็ทำงานผ่านการปฏิเสธกระแสไฟ จึงตั้งคำถามว่าการกระทำเหล่านี้ล้วนเป็นเรื่องไม่ดีทั้งหมดหรือไม่ สงสัยว่าทำไมการบันทึกการเปลี่ยนแปลงของหน่วยความจำทั้งหมดจึงช่วยป้องกันการสูญเสียความร้อน และกังวลว่าการต้องเก็บหน่วยความจำทั้งหมดไว้ตลอดเวลาจะยิ่งใช้พลังงานมากขึ้นหรือไม่ รวมถึงตั้งข้อสงสัยเชิงปฏิบัติว่าทำไมในการคำนวณจึงจำเป็นต้องย้อนกลับไปสู่อดีตด้วย
ในทางทฤษฎี คอมพิวเตอร์ที่ไม่ลืมข้อมูลสามารถใช้พลังงานได้น้อยมาก จึงเป็นไปได้ที่จะสร้างคอมพิวเตอร์ที่แทบไม่ปล่อยความร้อน คอมพิวเตอร์ชนิดนี้คือการคำนวณแบบผันกลับได้ (adiabatic computing) ซึ่งเกตคำนวณทั้งหมดต้องย้อนกลับได้ อย่างไรก็ตาม ขั้นตอนต้นทางมาก ๆ และปลายทาง เช่น การตั้งค่าสถานะอินพุตและการคัดลอกเอาต์พุต ก็ยังต้องใช้พลังงาน ในโลกจริง การใช้พลังงานส่วนใหญ่ไม่ได้สูญเสียไปเพราะการ "ลบ" ข้อมูลในลอจิกเกต แต่เสียไปกับเรื่องอย่างความต้านทานของสายสัญญาณ หากจะสร้าง CPU แบบผันกลับได้อย่างสมบูรณ์ก็ต้องใช้ฮาร์ดแวร์พิเศษ เช่น สายและอุปกรณ์ตัวนำยิ่งยวด และยังต้องสามารถย้อนการคำนวณได้ด้วย ซึ่งก็ไม่ใช่ปัญหาง่าย ๆ หรือไม่เช่นนั้นก็ต้องยอมลบสถานะและรับการใช้พลังงานนั้นไป ตัวอย่างในโลกจริงคือคอมพิวเตอร์ควอนตัม ซึ่งเกตลอจิกควอนตัมสามารถผันกลับได้ทุกการคำนวณและทำงานย้อนทิศได้
ในมุมของอุณหพลศาสตร์ กระบวนการที่ผันกลับได้มีประสิทธิภาพสูงสุดในทางทฤษฎี ซึ่งเกี่ยวข้องกับเอนโทรปี หากลบข้อมูลก็จะไม่เป็นกระบวนการผันกลับได้อีกต่อไป จึงหลีกเลี่ยงการเกิดความร้อนไม่ได้ อย่างไรก็ตาม ทั้งหมดนี้เป็นเรื่องเชิงทฤษฎีอย่างมาก และคอมพิวเตอร์จริงในปัจจุบันยังห่างไกลจากขีดจำกัดนี้มาก อุปกรณ์ลอจิกจริงส่วนใหญ่ เช่น AND, OR, NAND เมื่อตัดขาดจากบริบทแล้วล้วนมีโครงสร้างการคำนวณที่ไม่ผันกลับได้
มีการชี้ว่าอุปกรณ์จัดเก็บถาวรอย่างฮาร์ดดิสก์และ SSD ไม่ใช้พลังงานเลยในการคงข้อมูลไว้ ดังนั้นจึงไม่เกิดความร้อน แต่เมื่อต้องลบหรือเขียนทับข้อมูลก็จำเป็นต้องใช้พลังงานอย่างหลีกเลี่ยงไม่ได้ และทำให้เกิดความร้อนมาก ปัญหาการระบายความร้อนเป็นอุปสรรคต่อการย่อขนาดชิปให้เล็กลงยิ่งกว่าเดิม หากออกแบบคอมพิวเตอร์ที่ไม่ลบข้อมูลได้ ก็จะลดความร้อนได้มาก ทำให้ประสิทธิภาพชิปสูงขึ้น ประหยัดพลังงาน และเปิดโอกาสต่อการสเกล
ค่อนข้างสงสัยกับแรงจูงใจเรื่องการประหยัดพลังงาน แต่การสร้างสถาปัตยกรรม deep learning แบบผันกลับได้เองก็เป็นหัวข้อวิจัยที่น่าสนใจมาก มีการถกเถียงกันอย่างคึกคักจริงในช่วงปี 2019~2021 เช่นใน ชุดเวิร์กช็อป invertibleworkshop โมเดล diffusion ที่กำลังได้รับความนิยมในช่วงหลังก็อาจมองได้ว่าเป็นกรณีพิเศษของ continuous normalizing flow จึงในทางทฤษฎีสามารถคำนวณแบบผันกลับได้ แต่คิดว่าโมเดลที่ถูก distill แล้วซึ่งใช้ใน production แทบทั้งหมดไม่เป็นเช่นนั้น การจำลองสมการเชิงอนุพันธ์ก็เช่นกัน เพราะข้อผิดพลาดจากการปัดเศษของ floating point ทำให้การคำนวณย้อนกลับไม่ตรงกันอย่างแม่นยำในทางปฏิบัติ แต่ถ้าออกแบบอย่างประณีตก็สามารถทำ ซิมูเลชันที่ผันกลับได้อย่างสมบูรณ์ระดับ bit-to-bit ได้เช่นกัน
มีการครุ่นคิดว่าการที่การคำนวณมีทิศทางหมายความว่าอย่างไร ดูคล้ายความเป็นเหตุเป็นผล แต่จริง ๆ แล้วน่าจะเป็นเรื่องของอินพุตและเอาต์พุต สุดท้ายก็ดูเหมือนว่าจะต้องลองรันโปรแกรมก่อนจึงจะรู้ และถ้าเก็บสถานะไว้ ก็ดูแค่ทำให้ backtracking ง่ายขึ้นเท่านั้น
ใช่ แต่สิ่งนี้พูดกันในระดับกายภาพ จึงต้องมีฮาร์ดแวร์เฉพาะ การลบข้อมูล (เช่น การคำนวณ AND) ทำให้เกิดความร้อน จึงต้องใช้ลอจิกเกตอีกแบบ เช่น Fredkin gate
ที่จริงแล้วการคำนวณทุกอย่างมีทิศทาง มีคนหนึ่งบอกว่าสนใจหัวข้อนี้มาก ตัวอย่างเช่น ฟังก์ชัน f(x) -> y เองก็ชี้ทิศทางอยู่แล้ว แน่นอนว่าถ้าย้อนกลับได้ก็คงดี แต่ก็มีกรณีที่ผกผันกลับไม่ได้เสมอ เช่น f(x)=mx+b หาอินเวอร์สได้ง่าย (ตราบใดที่ m≠0) แต่ f(x)=x^2 นั้น เมื่อพยายามกู้ค่า x จาก f(x) จะได้ทั้ง ±x จึงไม่เป็นเอกลักษณ์ สามารถอธิบายด้วยแนวคิดเรื่อง image และ preimage ของฟังก์ชันได้ และเรื่องนี้ยังเกี่ยวข้องใกล้ชิดกับปัญหา P=NP อีกด้วย ใน machine learning นั้น Normalizing Flow เป็นแบบ invertible, diffusion model เป็นโครงสร้าง reversible และยังมี GAN-Inversion ผู้แสดงความเห็นรายนี้ไม่ค่อยชอบที่ชุมชน ML ใช้คำว่า "inverse problem" การเข้าใจแนวคิดนี้จะทำให้เห็นว่าเหตุใดการพยากรณ์จึงแม่นได้เพียงทิศทางเดียวแต่ย้อนกลับแล้วล้มเหลว สุดท้ายมันพาไปสู่ปัญหา causal inference ในฟิสิกส์ เป้าหมายสำคัญคือการดัดแปลงสมการเพื่อสร้างแผนที่เชิงเหตุ แต่ก็มีปัญหาเฉพาะตัวจากเอนโทรปีและกลศาสตร์ควอนตัม ตัวอย่างเช่น เมื่อลองคำนวณย้อนสถานะของโมเลกุลก๊าซ ก็อาจได้หลายสถานะที่ไม่ใช่คำตอบเดียว เช่นเดียวกับตัวอย่างแคลคูลัส การ differentiation ไม่ผันกลับได้ เพราะ f(x)+C ล้วนให้ค่าอนุพันธ์เดียวกัน นั่นคือมีการสูญเสียข้อมูลในทิศทางเดียว แต่หากสุ่มเก็บสถานะจากหลายช่วงเวลา พื้นที่ของคำตอบก็อาจแคบลงอย่างมาก
โดยสรุปแล้ว หากลดการคำนวณแบบไม่ผันกลับได้ (การลบข้อมูล) ให้เหลือน้อยที่สุด ก็จะทำให้การคำนวณแบบผันกลับได้เป็นไปได้ ตัวอย่าง: 2 + 2 + 2 หากบันทึกทุกขั้นตอนของการคำนวณไว้ทั้งหมด ก็ผันกลับได้ แต่ถ้าเก็บไว้แค่ผลลัพธ์สุดท้ายและลบประวัติทิ้งไป (เหลือเพียง 6) ก็จะไม่ผันกลับได้
มีคนบอกว่าติดตาม Mike P Frank บน Twitter มาตลอด และมักได้เห็นความเห็นที่น่าสนใจเกี่ยวกับ reversible computing และ AI MikePFrank บน Twitter
คาดหวังว่าเทคโนโลยีนี้อาจมีประโยชน์เมื่อกระแสซอฟต์แวร์บนฐาน GPU datacenter หวนกลับมาอีกครั้ง แต่ก็มองว่าเหมือน Jevons Paradox (เมื่อประสิทธิภาพดีขึ้น ความต้องการกลับเพิ่มขึ้นจนประหยัดพลังงานจริงไม่ได้) สุดท้ายอาจไม่ใช่จุดเปลี่ยนอยู่ดี
อยากรู้ว่าแผนที่เป็นรูปธรรมคืออะไร และเคยมีกรณีสาธิต reversible matmul จริงหรือไม่ แม้แต่การคำนวณนั้นเองก็ดูเลี่ยงการลบข้อมูลระหว่างทางได้ยาก จึงสงสัยในความเป็นจริงได้มากน้อยแค่ไหน
มีคนเล่าว่าพอเห็นพาดหัวบทความนี้ก็รู้สึกถึงความย้อนแย้ง เพราะหน้าเว็บนั้นใช้เวลาโหลดถึง 12 วินาทีแม้บนคอมพิวเตอร์สมัยใหม่ ผู้คนมักไม่ค่อยสนใจปัญหาของคนอื่น และเมื่อมีเทคโนโลยีใหม่เกิดขึ้น (เช่น AI) ต้นทุนทางสังคมอย่างสิ่งแวดล้อม งานของปัจเจก โครงสร้างพื้นฐาน การละเมิดลิขสิทธิ์ และระบบสังคม มักถูกผลักออกไปเป็นภาระภายนอก เมื่อได้ประสิทธิภาพเพิ่มขึ้น สุดท้ายก็มักใช้เพื่อตัวเองมากขึ้น ไม่ได้ลดความเสียหายที่มอบให้ผู้อื่น เป็นมุมมองที่ค่อนข้างขมขื่น
มีการยืนยันมาหลายครั้งแล้วว่า ต่อให้ใช้ LLM หลายรอบ ปริมาณไฟฟ้าที่ใช้ก็ยังน้อยกว่าการต้มน้ำด้วยกาต้มน้ำไฟฟ้า