ดีปนิวรัลเน็ต: ภาพเมื่อ 33 ปีก่อนและอีก 33 ปีต่อมา (2022)

• บทความว่าด้วยความสำคัญทางประวัติศาสตร์ของงานวิจัย "Backpropagation Applied to Handwritten Zip Code Recognition" ที่ Yann LeCun และคณะตีพิมพ์ในปี 1989 โดยงานนี้ถือเป็นหนึ่งในกรณีใช้งานจริงยุคแรกสุดที่ฝึกโครงข่ายประสาทเทียมแบบต้นจนจบด้วย backpropagation
• ผู้เขียนพยายามทำซ้ำงานในบทความดังกล่าวด้วยเครื่องมือสมัยใหม่อย่าง PyTorch และระบุว่าเครือข่ายต้นฉบับถูกพัฒนาใน Lisp โดยใช้โปรแกรมจำลอง backpropagation ชื่อ SN ของ Bottou และ LeCun ปี 1988 (ภายหลังเปลี่ยนชื่อเป็น Lush)
• เครือข่ายต้นฉบับใช้เวลาฝึก 3 วันบนเวิร์กสเตชัน SUN-4/260 แต่ฉบับที่ผู้เขียนทำซ้ำโดยใช้ CPU ของ MacBook Air (M1) ใช้เวลาราว 90 วินาที
• ผู้เขียนยังทดลองใช้เทคนิคดีปเลิร์นนิงสมัยใหม่ เช่น ตัวปรับเหมาะ Adam การทำ data augmentation และ dropout รวมถึงเปลี่ยนฟังก์ชันกระตุ้นจาก tanh เป็น ReLU ซึ่งทำให้อัตราความผิดพลาดลดลงประมาณ 60%
• ผู้เขียนเสนอว่ายังสามารถปรับปรุงได้อีกด้วยการขยายขนาดของเครือข่ายหรือชุดข้อมูล แต่สิ่งนี้จะเพิ่มต้นทุนการคำนวณและอาจทำให้เกิดความหน่วงในการอนุมาน
• เมื่อมองย้อนดูความก้าวหน้าของดีปเลิร์นนิงตลอด 33 ปีที่ผ่านมา ผู้เขียนชี้ว่าหลักการพื้นฐานยังคงเดิม แต่ขนาดของชุดข้อมูลและโมเดลเพิ่มขึ้นอย่างมาก ขณะที่เวลาที่ต้องใช้ในการฝึกโมเดลลดลงอย่างมาก
• ผู้เขียนคาดการณ์ว่าภายในปี 2055 โครงข่ายประสาทเทียมจะมีขนาดใหญ่ขึ้นอีก และแอปพลิเคชันส่วนใหญ่จะเกิดขึ้นจากการปรับจูนบางส่วนของเครือข่ายแบบเบา ๆ, prompt engineering หรือการกลั่นข้อมูลหรือโมเดลให้เป็นเครือข่ายอนุมานขนาดเล็กที่มีวัตถุประสงค์เฉพาะทาง

[GN⁺]

ความเห็นจาก Hacker News

• บทความนี้กล่าวถึงวิวัฒนาการของดีปนิวรัลเน็ตเวิร์กตลอด 33 ปีที่ผ่านมา และนำเสนอการคาดการณ์สำหรับอีก 33 ปีข้างหน้า
• เดิมทีการฝึกเครือข่ายนี้ใช้เวลา 3 วันบนเวิร์กสเตชัน Sun 4/260 และใช้พลังงานราว 14400 วัตต์ชั่วโมง ปัจจุบันการฝึกแบบเดียวกันสามารถทำได้บน MacBook ภายใน 90 วินาที โดยใช้เพียง 0.5 วัตต์ชั่วโมง ทำให้ประสิทธิภาพด้านพลังงานดีขึ้นเกือบ 30000 เท่า
• ผู้อ่านบางคนวิจารณ์การคาดการณ์ของบทความสำหรับปี 2055 ว่าเป็นแบบ "เมตา-เชิงเส้น" โดยมองว่ายังคงสะท้อน "สมมาตรเวิลด์ไลน์" ที่ยึดวันที่ปัจจุบันเป็นจุดกำเนิด พวกเขาโต้แย้งว่าช่วงเวลาที่ยาวพอขนาดนี้อาจมีทั้งความก้าวหน้าที่คาดไม่ถึงและอุปสรรคอีกมาก
• มีการถกเถียงกันว่าในอีก 33 ปีข้างหน้า ควรทำสิ่งเดิมต่อไปด้วยข้อมูลที่มากขึ้นและพลังประมวลผลที่มากขึ้น หรือควรสำรวจแนวทางใหม่
• ผู้อ่านบางส่วนตั้งคำถามถึงความสามารถในการขยายตัวของการประมวลผลในอีก 33 ปีข้างหน้า ขณะที่อีกบางส่วนมองว่าไม่จำเป็นต้องขยายตัวแบบเดียวกับที่ผ่านมา
• บทความนี้ได้รับคำชมจากการสำรวจพื้นฐานของแมชชีนเลิร์นนิงอย่างตรงไปตรงมาและเรียบง่าย ซึ่งต่างจากงานวิจัยจำนวนมากที่เต็มไปด้วยผลลัพธ์จากสถาปัตยกรรมใหม่ที่ซับซ้อนและยากต่อการทำซ้ำ
• ผู้อ่านชี้ว่าการเปลี่ยนแปลงที่พื้นฐานที่สุดอยู่ที่ตัวแบบที่กำลังถูกฝึก จากภาพขนาดเล็กไปสู่การสื่อสารทางภาษาและภาพของมนุษย์
• บทความนี้ปลุกความรู้สึกหวนรำลึกให้กับผู้อ่านบางคนที่เคยเห็นทั้งช่วงขาขึ้น ขาลง และการฟื้นคืนความสนใจต่อโครงข่ายประสาทเทียม
• ผู้อ่านบางคนแสดงความตื่นเต้นต่ออนาคตของเทคโนโลยี ขณะที่อีกบางคนแสดงความกังวลว่ามนุษย์อาจกลายเป็นสิ่งไร้ความหมายในโลกที่ถูก AI ครอบงำ
• บทความนี้แสดงให้เห็นว่าความก้าวหน้าด้านฮาร์ดแวร์มีบทบาทสำคัญต่อวิวัฒนาการของ AI โดยผู้อ่านบางส่วนแย้งว่าความก้าวหน้าในอนาคตอาจไม่หวือหวาเท่านี้