30 Papers - สรุปรายชื่อเปเปอร์สำคัญด้าน AI ที่ Ilya Sutskever แนะนำ

baeba · 2026-07-08T09:33:20+09:00

เว็บไซต์ที่รวบรวมเปเปอร์สำคัญด้านแมชชีนเลิร์นนิงให้ง่ายต่อการติดตามสำหรับผู้เริ่มต้น โดยอ้างอิงจากรายชื่อเปเปอร์หลักด้าน AI ที่มีข่าวว่า Ilya Sutskever แนะนำให้ John Carmack รายชื่อนี้ไล่ตามพัฒนาการสำคัญของ AI สมัยใหม่ เช่น deep learning, computer vision, sequential modeling, attention, Transformer, graph neural network, scaling laws, information theory และ complexity theory ไม่ได้มีแค่การเรียงรายชื่อเปเปอร์ แต่ยังรวม lecture notes, บทความอธิบาย และคำอธิบายเชิงโค้ดไว้ด้วย เพื่อลด กำแพงในการเข้าถึงเปเปอร์ต้นฉบับ ผู้อ่านที่ต้องการเข้าใจ large language model และระบบ deep learning สมัยใหม่ สามารถกวาดดูจุดเริ่มต้นของ สถาปัตยกรรม·เทคนิคการฝึก·ทฤษฎีความซับซ้อน ได้ในที่เดียว เดิมเป็นที่รู้จักในฐานะรายชื่อเปเปอร์ 30 ฉบับ แต่เว็บไซต์ปัจจุบันจัดไว้เพียง 27 รายการ บทนำ รายชื่อที่รวบรวมแหล่งข้อมูลสำคัญของพัฒนาการ AI เว็บไซต์นี้เป็นโปรเจกต์ที่รวบรวมเปเปอร์และสื่อการเรียนรู้ซึ่งสร้างจุดเปลี่ยนสำคัญในการวิจัย AI รายชื่อนี้จัดทำขึ้นโดยอ้างอิงจากข่าวลือว่า Ilya Sutskever แนะนำให้ John Carmack ผู้จัดทำเว็บไซต์ระบุว่าจากเปเปอร์ทั้งหมด 30 ฉบับ ขณะนี้รวบรวมได้ 27 ฉบับ แต่ละรายการประกอบด้วยชื่อเปเปอร์ สรุปสาระสำคัญ และข้อมูลผู้มีส่วนร่วมหลัก จุดประสงค์ของแหล่งข้อมูลนี้คือจัดระเบียบแนวคิดที่เป็นรากฐานของเทคโนโลยี AI สมัยใหม่ให้มองเห็นได้ในภาพรวม เนื้อหา พัฒนาการของ computer vision และ convolutional neural network CS231n: Convolutional Neural Networks for Visual Recognition เป็นสื่อการสอนที่อธิบาย convolutional neural network ตั้งแต่พื้นฐาน ครอบคลุมเป็นลำดับตั้งแต่ linear classifier ไปจนถึงโมเดลรู้จำภาพเชิงลึก ทำหน้าที่เป็นแหล่งข้อมูลเริ่มต้นสำหรับเรียนรู้ CNN ในสาขา computer vision ImageNet Classification with Deep Convolutional Neural Networks เป็นเปเปอร์ AlexNet ซึ่งชนะการแข่งขัน ImageNet ด้วยผลลัพธ์ที่เหนือกว่าอย่างมาก พิสูจน์ประสิทธิผลของ deep convolutional neural network ในการจำแนกรูปภาพขนาดใหญ่ ได้รับการประเมินว่าเป็นเปเปอร์สำคัญที่จุดประกดยุค deep learning สมัยใหม่ Deep Residual Learning for Image Recognition เป็นเปเปอร์ ResNet ที่นำ residual connection มาใช้ ออกแบบให้เครือข่ายเรียนรู้ปริมาณการเปลี่ยนแปลงเมื่อเทียบกับอินพุต แทนที่จะเรียนรู้การแปลงทั้งหมดโดยตรง ทำให้สามารถฝึก neural network ที่ลึกระดับหลายร้อยชั้นได้ Identity Mappings in Deep Residual Networks เป็นงานวิจัยต่อยอดของ ResNet ที่วิเคราะห์เหตุผลว่า identity shortcut มีประสิทธิผลอย่างไร เสนอ pre-activation residual block เพื่อปรับปรุงโครงสร้าง residual network มีส่วนช่วยเพิ่มเสถียรภาพในการ optimize และยกระดับประสิทธิภาพของเครือข่ายที่ลึกมาก Multi-Scale Context Aggregation by Dilated Convolutions เสนอวิธีขยาย receptive field โดยไม่สูญเสียความละเอียด ผ่าน dilated convolution ทำให้สามารถใช้ข้อมูลบริบทได้กว้างขึ้นในงาน dense prediction เช่น image segmentation มีส่วนช่วยให้สะท้อนฟีเจอร์ในขอบเขตกว้างได้พร้อมกับรักษาข้อมูลเชิงพื้นที่ที่ละเอียดไว้ โมเดลลำดับและการแก้ปัญหา long-term dependency The Unreasonable Effectiveness of Recurrent Neural Networks เป็นบทความบล็อกเชิงปฏิบัติที่ทดลองสร้างข้อความด้วย RNN ระดับตัวอักษร แสดงผ่านตัวอย่างว่า RNN สามารถจับโครงสร้างและแพตเทิร์นในข้อมูลได้มากพอสมควร อธิบายความเป็นไปได้ของการทำ sequential data modeling อย่างเข้าใจง่าย Understanding LSTM Networks เป็นแหล่งข้อมูลที่อธิบายโครงสร้าง gate และวิธีส่งต่อข้อมูลของ LSTM ด้วยภาพ มุ่งเน้นการทำความเข้าใจหลักการรักษาข้อมูลไว้ใน sequence ที่ยาว เป็นสื่อเริ่มต้นที่ใช้กันอย่างแพร่หลายสำหรับผู้ที่เรียน LSTM เป็นครั้งแรก Recurrent Neural Network Regularization เสนอวิธีที่เหมาะสมในการใช้ dropout กับ LSTM อธิบายว่าควรใช้ dropout กับ non-recurrent connection ไม่ใช่ recurrent connection มีส่วนช่วยลด overfitting ของ recurrent neural network ขนาดใหญ่ Order Matters: Sequence to Sequence for Sets วิเคราะห์ผลกระทบของลำดับอินพุตและเอาต์พุตต่อประสิทธิภาพในโมเดล sequence-to-sequence กล่าวถึงปัญหาที่เกิดขึ้นเมื่อนำข้อมูลซึ่งโดยเนื้อแท้เป็นเซตไปประมวลผลด้วยโมเดลลำดับ ให้ประเด็นอภิปรายเกี่ยวกับวิธีสร้างโมเดลให้กับโครงสร้างข้อมูลที่ไม่มีลำดับ การเปลี่ยนผ่านเชิงโครงสร้างสู่ attention และ Transformer Neural Machine Translation by Jointly Learning to Align and Translate เป็นเปเปอร์สำคัญที่นำกลไก attention มาใช้กับ machine translation ทำให้โมเดลไม่ต้องพึ่งพาเวกเตอร์สรุปแบบคงที่เพียงตัวเดียว แต่สามารถอ้างอิงคำในต้นฉบับที่เกี่ยวข้องได้โดยตรง กลายเป็นรากฐานสำคัญของการเปลี่ยนแปลงโครงสร้างโมเดลประมวลผลภาษาธรรมชาติในเวลาต่อมา Pointer Networks เป็นโมเดล sequence ที่ออกแบบให้เอาต์พุตชี้ไปยังตำแหน่งเฉพาะในอินพุต เหมาะกับปัญหาที่คำตอบแสดงในรูปของการเลือกหรือการจัดเรียงองค์ประกอบของอินพุต เสนอโครงสร้างโมเดลที่นำไปใช้ได้กับ combinatorial optimization และปัญหา structured prediction Attention Is All You Need เป็นเปเปอร์ที่เสนอ architecture แบบ Transformer ตัด recurrence ออก และประมวลผลข้อมูลลำดับด้วย self-attention เพียงอย่างเดียว กลายเป็นรากฐานเชิงโครงสร้างหลักของ large language model สมัยใหม่ The Annotated Transformer เป็นสื่อที่อธิบายเปเปอร์ Transformer ทีละบรรทัดพร้อมโค้ดที่รันได้ ช่วยให้เข้าใจโครงสร้างของเปเปอร์ต้นฉบับจากมุมมองการ implement จริง ทำหน้าที่เป็นสื่อการเรียนรู้ที่ลดช่องว่างระหว่างงานวิจัยกับการนำไป implement ในภาคปฏิบัติ หน่วยความจำ การอนุมานความสัมพันธ์ และการเรียนรู้โครงสร้างกราฟ Neural Turing Machines เป็นโมเดลที่ผสาน neural network เข้ากับ external memory ที่อ่านและเขียนได้ ควบคุมหน่วยความจำผ่าน attention ที่สามารถหาอนุพันธ์ได้ เสนอความเป็นไปได้ในการเรียนรู้อัลกอริทึมอย่างง่ายจากข้อมูลตัวอย่าง A Simple Neural Network Module for Relational Reasoning เป็นเปเปอร์ที่เสนอ relation network เพิ่มโมดูลที่สามารถอนุมานความสัมพันธ์ระหว่างคู่ของวัตถุเข้าไปใน neural network เสนอโครงสร้างที่เป็นประโยชน์ต่อ visual reasoning และการแก้ปัญหาบนฐานความสัมพันธ์ Relational Recurrent Neural Networks ผสาน recurrent network เข้ากับหน่วยความจำที่ใช้ self-attention ออกแบบให้หน่วยความจำที่จัดเก็บไว้สามารถโต้ตอบกันเองได้ มุ่งยกระดับประสิทธิภาพในงานที่ต้องใช้ relational reasoning ตามเวลา Neural Message Passing for Quantum Chemistry อธิบาย graph neural network โดยรวมเข้ากับ message passing framework ประยุกต์ใช้การเรียนรู้บนฐานกราฟกับการทำนายคุณสมบัติของโครงสร้างโมเลกุล ถือได้ว่าเป็นเปเปอร์ที่จัดระเบียบรากฐานเชิงโครงสร้างของงานวิจัย graph neural network การฝึกโมเดลขนาดใหญ่และ scaling laws Scaling Laws for Neural Language Models วัดให้เห็นว่า loss ของ language model ลดลงในรูปแบบ power law ที่ค่อนข้างสม่ำเสมอตามขนาดโมเดล ข้อมูล และปริมาณการคำนวณ ให้หลักฐานเชิงประจักษ์สำหรับการสร้างโมเดลขนาดใหญ่ ต่อมากลายเป็นเกณฑ์สำคัญในยุทธศาสตร์การพัฒนา large language model GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism เสนอวิธี pipeline parallelism สำหรับแบ่ง neural network ขนาดยักษ์ไปฝึกบนอุปกรณ์หลายตัว ทำให้การฝึกโมเดลขนาดใหญ่ใช้ได้จริง ด้วยการกระจายงานระหว่างอุปกรณ์อย่างมีประสิทธิภาพ ให้แนวทางแก้ปัญหาด้านโครงสร้างพื้นฐานการฝึกที่จำเป็นต่อการขยายขนาดโมเดล Deep Speech 2: End-to-End Speech Recognition in English and Mandarin เป็นระบบที่จัดการ speech recognition ภาษาอังกฤษและภาษาจีนกลางแบบ end-to-end ใช้ connectionist temporal classification เพื่อเรียนรู้ลำดับเสียงพูด แสดงให้เห็นความเป็นไปได้ของโมเดล speech recognition ที่ขยายไปใช้ได้ในสภาพแวดล้อมภาษาต่างกัน ทำความเข้าใจการเรียนรู้จากมุมมอง information theory, การบีบอัด และความซับซ้อน Keeping Neural Networks Simple by Minimizing the Description Length of the Weights เป็นงานวิจัยยุคแรกที่ตีความ generalization ของ neural network โดยเชื่อมโยงกับ description length ของ weight เสนอมุมมองว่าโมเดลที่ดีควรมี weight ที่อธิบายได้ด้วยจำนวนบิตน้อย อธิบายความสัมพันธ์ระหว่างการบีบอัดกับ generalization ในเชิง information theory A Tutorial Introduction to the Minimum Description Length Principle เป็นสื่อ tutorial ที่แนะนำหลักการ minimum description length ตีความการเรียนรู้ว่าเป็นกระบวนการค้นหาโมเดลที่อธิบายข้อมูลได้สั้นที่สุด ให้แนวคิดพื้นฐานที่จำเป็นต่อการเข้าใจ model selection และการเรียนรู้บนฐานการบีบอัด Kolmogorov Complexity เป็นทฤษฎีที่ว่าด้วยความยาวของโปรแกรมที่สั้นที่สุดซึ่งสร้างสตริงหนึ่งขึ้นมา ให้รากฐานเชิงรูปแบบสำหรับ description length และ algorithmic randomness เชื่อมโยงกับการอภิปรายเรื่องการบีบอัด generalization และความซับซ้อนของโมเดล AI The First Law of Complexodynamics เป็นบทความที่สำรวจกฎซึ่งอธิบายว่าเหตุใด complexity ในระบบปิดจึงเพิ่มขึ้นแล้วลดลง ไม่มอง complexity ว่าเป็นสิ่งเดียวกับ entropy อย่างง่าย ๆ แต่ปฏิบัติต่อมันในฐานะคุณลักษณะเชิงพลวัตที่แยกต่างหาก ตั้งคำถามเชิงแนวคิดเกี่ยวกับการเปลี่ยนแปลงตามเวลาของระบบซับซ้อน Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton เป็นงานวิจัยที่จำลองกระบวนการที่กาแฟกับครีมผสมกันด้วย cellular automata วิเคราะห์ปรากฏการณ์ที่ complexity เพิ่มขึ้นแล้วลดลงในระหว่างที่ระบบเคลื่อนไปสู่สภาวะสมดุล แสดงให้เห็นความพยายามในการวัดปริมาณการเปลี่ยนแปลงของ complexity ตามเวลา โมเดลสร้างข้อมูลและแนวคิดปัญญาสากล Variational Lossy Autoencoder เป็นโมเดลที่ผสาน variational autoencoder เข้ากับ autoregressive decoder เสนอวิธีควบคุมว่า latent code ควรรักษาข้อมูลประเภทใดไว้ กล่าวถึงสมดุลระหว่าง representation learning กับการเก็บรักษาข้อมูลใน generative model Machine Super Intelligence เป็นวิทยานิพนธ์ระดับปริญญาเอกที่เสนอวิธีวัด machine intelligence แบบสากล สำรวจคุณสมบัติและผลลัพธ์ของ agent ที่ทรงพลังมากในเชิงทฤษฎี ถือได้ว่าเป็นหนึ่งในรากฐานเชิงรูปแบบของการอภิปรายเรื่อง artificial general intelligence และ superintelligence สรุป รายการอ้างอิงที่ย่อเส้นทางพัฒนาการสำคัญของ AI สมัยใหม่ รายชื่อนี้จัดระเบียบแนวคิดสำคัญที่ขับเคลื่อนพัฒนาการของ AI สมัยใหม่ตามกระแสเทคโนโลยี แสดงการเปลี่ยนผ่านเชิงโครงสร้างตั้งแต่โมเดล computer vision ยุคแรก ไปสู่ RNN, LSTM, attention, Transformer และ scaling laws ครอบคลุมอย่างกว้างขวางตั้งแต่การ optimize neural network, การฝึกขนาดใหญ่, การเรียนรู้โครงสร้างกราฟ, information theory ไปจนถึง complexity theory ไม่ใช่รายชื่อเปเปอร์ของสาขาใดสาขาหนึ่ง แต่ใกล้เคียงกับเส้นทางการเรียนรู้หลายชั้นเพื่อทำความเข้าใจ AI สมัยใหม่ สำหรับนักวิจัยและนักพัฒนา AI สามารถใช้เป็นแหล่งข้อมูลพื้นฐานในการทำความเข้าใจบริบททางประวัติศาสตร์ หลักการสำคัญ และทิศทางการวิจัยของเทคโนโลยีไปพร้อมกัน

(30papers.com)

21 คะแนน โดย baeba 4 시간 전 | 2 ความคิดเห็น | แชร์ทาง WhatsApp

เว็บไซต์ที่รวบรวมเปเปอร์สำคัญด้านแมชชีนเลิร์นนิงให้ง่ายต่อการติดตามสำหรับผู้เริ่มต้น โดยอ้างอิงจากรายชื่อเปเปอร์หลักด้าน AI ที่มีข่าวว่า Ilya Sutskever แนะนำให้ John Carmack
รายชื่อนี้ไล่ตามพัฒนาการสำคัญของ AI สมัยใหม่ เช่น deep learning, computer vision, sequential modeling, attention, Transformer, graph neural network, scaling laws, information theory และ complexity theory
ไม่ได้มีแค่การเรียงรายชื่อเปเปอร์ แต่ยังรวม lecture notes, บทความอธิบาย และคำอธิบายเชิงโค้ดไว้ด้วย เพื่อลด กำแพงในการเข้าถึงเปเปอร์ต้นฉบับ
ผู้อ่านที่ต้องการเข้าใจ large language model และระบบ deep learning สมัยใหม่ สามารถกวาดดูจุดเริ่มต้นของ สถาปัตยกรรม·เทคนิคการฝึก·ทฤษฎีความซับซ้อน ได้ในที่เดียว
เดิมเป็นที่รู้จักในฐานะรายชื่อเปเปอร์ 30 ฉบับ แต่เว็บไซต์ปัจจุบันจัดไว้เพียง 27 รายการ

บทนำ

รายชื่อที่รวบรวมแหล่งข้อมูลสำคัญของพัฒนาการ AI

เว็บไซต์นี้เป็นโปรเจกต์ที่รวบรวมเปเปอร์และสื่อการเรียนรู้ซึ่งสร้างจุดเปลี่ยนสำคัญในการวิจัย AI
รายชื่อนี้จัดทำขึ้นโดยอ้างอิงจากข่าวลือว่า Ilya Sutskever แนะนำให้ John Carmack
ผู้จัดทำเว็บไซต์ระบุว่าจากเปเปอร์ทั้งหมด 30 ฉบับ ขณะนี้รวบรวมได้ 27 ฉบับ
แต่ละรายการประกอบด้วยชื่อเปเปอร์ สรุปสาระสำคัญ และข้อมูลผู้มีส่วนร่วมหลัก
จุดประสงค์ของแหล่งข้อมูลนี้คือจัดระเบียบแนวคิดที่เป็นรากฐานของเทคโนโลยี AI สมัยใหม่ให้มองเห็นได้ในภาพรวม

เนื้อหา

พัฒนาการของ computer vision และ convolutional neural network

CS231n: Convolutional Neural Networks for Visual Recognition
- เป็นสื่อการสอนที่อธิบาย convolutional neural network ตั้งแต่พื้นฐาน
- ครอบคลุมเป็นลำดับตั้งแต่ linear classifier ไปจนถึงโมเดลรู้จำภาพเชิงลึก
- ทำหน้าที่เป็นแหล่งข้อมูลเริ่มต้นสำหรับเรียนรู้ CNN ในสาขา computer vision
ImageNet Classification with Deep Convolutional Neural Networks
- เป็นเปเปอร์ AlexNet ซึ่งชนะการแข่งขัน ImageNet ด้วยผลลัพธ์ที่เหนือกว่าอย่างมาก
- พิสูจน์ประสิทธิผลของ deep convolutional neural network ในการจำแนกรูปภาพขนาดใหญ่
- ได้รับการประเมินว่าเป็นเปเปอร์สำคัญที่จุดประกดยุค deep learning สมัยใหม่
Deep Residual Learning for Image Recognition
- เป็นเปเปอร์ ResNet ที่นำ residual connection มาใช้
- ออกแบบให้เครือข่ายเรียนรู้ปริมาณการเปลี่ยนแปลงเมื่อเทียบกับอินพุต แทนที่จะเรียนรู้การแปลงทั้งหมดโดยตรง
- ทำให้สามารถฝึก neural network ที่ลึกระดับหลายร้อยชั้นได้
Identity Mappings in Deep Residual Networks
- เป็นงานวิจัยต่อยอดของ ResNet ที่วิเคราะห์เหตุผลว่า identity shortcut มีประสิทธิผลอย่างไร
- เสนอ pre-activation residual block เพื่อปรับปรุงโครงสร้าง residual network
- มีส่วนช่วยเพิ่มเสถียรภาพในการ optimize และยกระดับประสิทธิภาพของเครือข่ายที่ลึกมาก
Multi-Scale Context Aggregation by Dilated Convolutions
- เสนอวิธีขยาย receptive field โดยไม่สูญเสียความละเอียด ผ่าน dilated convolution
- ทำให้สามารถใช้ข้อมูลบริบทได้กว้างขึ้นในงาน dense prediction เช่น image segmentation
- มีส่วนช่วยให้สะท้อนฟีเจอร์ในขอบเขตกว้างได้พร้อมกับรักษาข้อมูลเชิงพื้นที่ที่ละเอียดไว้

โมเดลลำดับและการแก้ปัญหา long-term dependency

The Unreasonable Effectiveness of Recurrent Neural Networks
- เป็นบทความบล็อกเชิงปฏิบัติที่ทดลองสร้างข้อความด้วย RNN ระดับตัวอักษร
- แสดงผ่านตัวอย่างว่า RNN สามารถจับโครงสร้างและแพตเทิร์นในข้อมูลได้มากพอสมควร
- อธิบายความเป็นไปได้ของการทำ sequential data modeling อย่างเข้าใจง่าย
Understanding LSTM Networks
- เป็นแหล่งข้อมูลที่อธิบายโครงสร้าง gate และวิธีส่งต่อข้อมูลของ LSTM ด้วยภาพ
- มุ่งเน้นการทำความเข้าใจหลักการรักษาข้อมูลไว้ใน sequence ที่ยาว
- เป็นสื่อเริ่มต้นที่ใช้กันอย่างแพร่หลายสำหรับผู้ที่เรียน LSTM เป็นครั้งแรก
Recurrent Neural Network Regularization
- เสนอวิธีที่เหมาะสมในการใช้ dropout กับ LSTM
- อธิบายว่าควรใช้ dropout กับ non-recurrent connection ไม่ใช่ recurrent connection
- มีส่วนช่วยลด overfitting ของ recurrent neural network ขนาดใหญ่
Order Matters: Sequence to Sequence for Sets
- วิเคราะห์ผลกระทบของลำดับอินพุตและเอาต์พุตต่อประสิทธิภาพในโมเดล sequence-to-sequence
- กล่าวถึงปัญหาที่เกิดขึ้นเมื่อนำข้อมูลซึ่งโดยเนื้อแท้เป็นเซตไปประมวลผลด้วยโมเดลลำดับ
- ให้ประเด็นอภิปรายเกี่ยวกับวิธีสร้างโมเดลให้กับโครงสร้างข้อมูลที่ไม่มีลำดับ

การเปลี่ยนผ่านเชิงโครงสร้างสู่ attention และ Transformer

Neural Machine Translation by Jointly Learning to Align and Translate
- เป็นเปเปอร์สำคัญที่นำกลไก attention มาใช้กับ machine translation
- ทำให้โมเดลไม่ต้องพึ่งพาเวกเตอร์สรุปแบบคงที่เพียงตัวเดียว แต่สามารถอ้างอิงคำในต้นฉบับที่เกี่ยวข้องได้โดยตรง
- กลายเป็นรากฐานสำคัญของการเปลี่ยนแปลงโครงสร้างโมเดลประมวลผลภาษาธรรมชาติในเวลาต่อมา
Pointer Networks
- เป็นโมเดล sequence ที่ออกแบบให้เอาต์พุตชี้ไปยังตำแหน่งเฉพาะในอินพุต
- เหมาะกับปัญหาที่คำตอบแสดงในรูปของการเลือกหรือการจัดเรียงองค์ประกอบของอินพุต
- เสนอโครงสร้างโมเดลที่นำไปใช้ได้กับ combinatorial optimization และปัญหา structured prediction
Attention Is All You Need
- เป็นเปเปอร์ที่เสนอ architecture แบบ Transformer
- ตัด recurrence ออก และประมวลผลข้อมูลลำดับด้วย self-attention เพียงอย่างเดียว
- กลายเป็นรากฐานเชิงโครงสร้างหลักของ large language model สมัยใหม่
The Annotated Transformer
- เป็นสื่อที่อธิบายเปเปอร์ Transformer ทีละบรรทัดพร้อมโค้ดที่รันได้
- ช่วยให้เข้าใจโครงสร้างของเปเปอร์ต้นฉบับจากมุมมองการ implement จริง
- ทำหน้าที่เป็นสื่อการเรียนรู้ที่ลดช่องว่างระหว่างงานวิจัยกับการนำไป implement ในภาคปฏิบัติ

หน่วยความจำ การอนุมานความสัมพันธ์ และการเรียนรู้โครงสร้างกราฟ

Neural Turing Machines
- เป็นโมเดลที่ผสาน neural network เข้ากับ external memory ที่อ่านและเขียนได้
- ควบคุมหน่วยความจำผ่าน attention ที่สามารถหาอนุพันธ์ได้
- เสนอความเป็นไปได้ในการเรียนรู้อัลกอริทึมอย่างง่ายจากข้อมูลตัวอย่าง
A Simple Neural Network Module for Relational Reasoning
- เป็นเปเปอร์ที่เสนอ relation network
- เพิ่มโมดูลที่สามารถอนุมานความสัมพันธ์ระหว่างคู่ของวัตถุเข้าไปใน neural network
- เสนอโครงสร้างที่เป็นประโยชน์ต่อ visual reasoning และการแก้ปัญหาบนฐานความสัมพันธ์
Relational Recurrent Neural Networks
- ผสาน recurrent network เข้ากับหน่วยความจำที่ใช้ self-attention
- ออกแบบให้หน่วยความจำที่จัดเก็บไว้สามารถโต้ตอบกันเองได้
- มุ่งยกระดับประสิทธิภาพในงานที่ต้องใช้ relational reasoning ตามเวลา
Neural Message Passing for Quantum Chemistry
- อธิบาย graph neural network โดยรวมเข้ากับ message passing framework
- ประยุกต์ใช้การเรียนรู้บนฐานกราฟกับการทำนายคุณสมบัติของโครงสร้างโมเลกุล
- ถือได้ว่าเป็นเปเปอร์ที่จัดระเบียบรากฐานเชิงโครงสร้างของงานวิจัย graph neural network

การฝึกโมเดลขนาดใหญ่และ scaling laws

Scaling Laws for Neural Language Models
- วัดให้เห็นว่า loss ของ language model ลดลงในรูปแบบ power law ที่ค่อนข้างสม่ำเสมอตามขนาดโมเดล ข้อมูล และปริมาณการคำนวณ
- ให้หลักฐานเชิงประจักษ์สำหรับการสร้างโมเดลขนาดใหญ่
- ต่อมากลายเป็นเกณฑ์สำคัญในยุทธศาสตร์การพัฒนา large language model
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- เสนอวิธี pipeline parallelism สำหรับแบ่ง neural network ขนาดยักษ์ไปฝึกบนอุปกรณ์หลายตัว
- ทำให้การฝึกโมเดลขนาดใหญ่ใช้ได้จริง ด้วยการกระจายงานระหว่างอุปกรณ์อย่างมีประสิทธิภาพ
- ให้แนวทางแก้ปัญหาด้านโครงสร้างพื้นฐานการฝึกที่จำเป็นต่อการขยายขนาดโมเดล
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- เป็นระบบที่จัดการ speech recognition ภาษาอังกฤษและภาษาจีนกลางแบบ end-to-end
- ใช้ connectionist temporal classification เพื่อเรียนรู้ลำดับเสียงพูด
- แสดงให้เห็นความเป็นไปได้ของโมเดล speech recognition ที่ขยายไปใช้ได้ในสภาพแวดล้อมภาษาต่างกัน

ทำความเข้าใจการเรียนรู้จากมุมมอง information theory, การบีบอัด และความซับซ้อน

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- เป็นงานวิจัยยุคแรกที่ตีความ generalization ของ neural network โดยเชื่อมโยงกับ description length ของ weight
- เสนอมุมมองว่าโมเดลที่ดีควรมี weight ที่อธิบายได้ด้วยจำนวนบิตน้อย
- อธิบายความสัมพันธ์ระหว่างการบีบอัดกับ generalization ในเชิง information theory
A Tutorial Introduction to the Minimum Description Length Principle
- เป็นสื่อ tutorial ที่แนะนำหลักการ minimum description length
- ตีความการเรียนรู้ว่าเป็นกระบวนการค้นหาโมเดลที่อธิบายข้อมูลได้สั้นที่สุด
- ให้แนวคิดพื้นฐานที่จำเป็นต่อการเข้าใจ model selection และการเรียนรู้บนฐานการบีบอัด
Kolmogorov Complexity
- เป็นทฤษฎีที่ว่าด้วยความยาวของโปรแกรมที่สั้นที่สุดซึ่งสร้างสตริงหนึ่งขึ้นมา
- ให้รากฐานเชิงรูปแบบสำหรับ description length และ algorithmic randomness
- เชื่อมโยงกับการอภิปรายเรื่องการบีบอัด generalization และความซับซ้อนของโมเดล AI
The First Law of Complexodynamics
- เป็นบทความที่สำรวจกฎซึ่งอธิบายว่าเหตุใด complexity ในระบบปิดจึงเพิ่มขึ้นแล้วลดลง
- ไม่มอง complexity ว่าเป็นสิ่งเดียวกับ entropy อย่างง่าย ๆ แต่ปฏิบัติต่อมันในฐานะคุณลักษณะเชิงพลวัตที่แยกต่างหาก
- ตั้งคำถามเชิงแนวคิดเกี่ยวกับการเปลี่ยนแปลงตามเวลาของระบบซับซ้อน
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- เป็นงานวิจัยที่จำลองกระบวนการที่กาแฟกับครีมผสมกันด้วย cellular automata
- วิเคราะห์ปรากฏการณ์ที่ complexity เพิ่มขึ้นแล้วลดลงในระหว่างที่ระบบเคลื่อนไปสู่สภาวะสมดุล
- แสดงให้เห็นความพยายามในการวัดปริมาณการเปลี่ยนแปลงของ complexity ตามเวลา

โมเดลสร้างข้อมูลและแนวคิดปัญญาสากล

Variational Lossy Autoencoder
- เป็นโมเดลที่ผสาน variational autoencoder เข้ากับ autoregressive decoder
- เสนอวิธีควบคุมว่า latent code ควรรักษาข้อมูลประเภทใดไว้
- กล่าวถึงสมดุลระหว่าง representation learning กับการเก็บรักษาข้อมูลใน generative model
Machine Super Intelligence
- เป็นวิทยานิพนธ์ระดับปริญญาเอกที่เสนอวิธีวัด machine intelligence แบบสากล
- สำรวจคุณสมบัติและผลลัพธ์ของ agent ที่ทรงพลังมากในเชิงทฤษฎี
- ถือได้ว่าเป็นหนึ่งในรากฐานเชิงรูปแบบของการอภิปรายเรื่อง artificial general intelligence และ superintelligence

สรุป

รายการอ้างอิงที่ย่อเส้นทางพัฒนาการสำคัญของ AI สมัยใหม่

รายชื่อนี้จัดระเบียบแนวคิดสำคัญที่ขับเคลื่อนพัฒนาการของ AI สมัยใหม่ตามกระแสเทคโนโลยี
แสดงการเปลี่ยนผ่านเชิงโครงสร้างตั้งแต่โมเดล computer vision ยุคแรก ไปสู่ RNN, LSTM, attention, Transformer และ scaling laws
ครอบคลุมอย่างกว้างขวางตั้งแต่การ optimize neural network, การฝึกขนาดใหญ่, การเรียนรู้โครงสร้างกราฟ, information theory ไปจนถึง complexity theory
ไม่ใช่รายชื่อเปเปอร์ของสาขาใดสาขาหนึ่ง แต่ใกล้เคียงกับเส้นทางการเรียนรู้หลายชั้นเพื่อทำความเข้าใจ AI สมัยใหม่
สำหรับนักวิจัยและนักพัฒนา AI สามารถใช้เป็นแหล่งข้อมูลพื้นฐานในการทำความเข้าใจบริบททางประวัติศาสตร์ หลักการสำคัญ และทิศทางการวิจัยของเทคโนโลยีไปพร้อมกัน

2 ความคิดเห็น

GN⁺ 2 시간 전

ความคิดเห็นจาก Hacker News

ไม่คิดว่าโพสต์นี้จะได้รับความสนใจขนาดนี้ เดิมทีตั้งใจให้เป็นโปรเจกต์เล็ก ๆ เพื่อช่วยให้เพื่อน ๆ เริ่มต้น อ่าน论文วิจัย
มีฟีดแบ็กเยอะว่าพื้นหลังกับแอนิเมชันแรงเกินไป เลยคิดว่าผมน่าจะเอนเอียงไปทางทำให้ดูเท่มากกว่าการใช้งานจริง
ดังนั้นจึงเพิ่ม toggle สำหรับปิดการเคลื่อนไหวของหน้าและพื้นหลังของ论文แยกกัน
มีความเห็นว่าอยากได้ความรู้สึกส่วนตัวมากขึ้นสำหรับแต่ละ论文ด้วย ซึ่งสำหรับ论文ยอดนิยมบางส่วน ผมเคยเขียนไว้แล้วบน X ที่ @notmcrowley
ถ้ามีประโยชน์ก็สามารถเพิ่มลงในเว็บไซต์ได้ แต่ผมไม่ได้เรียน ML หรือ AI อย่างเป็นทางการ การตีความจึงเป็นเพียงมุมมองส่วนตัวและอาจไม่ถูกต้องก็ได้
ถ้ามีคนที่มีประสบการณ์มากกว่าต้องการช่วยร่วมทำ ก็ติดต่อมาได้
- สำหรับคนที่ไม่เคยใช้ Twitter และไม่มีแผนจะสร้างบัญชีในอนาคต อยากให้เพิ่ม ความเห็นส่วนตัว แบบนั้นลงในเว็บไซต์ด้วย
  ผมกำลังพยายามเริ่มอ่าน论文วิจัยเหมือนเพื่อน ๆ อยู่พอดี ชุดรวมนี้เลยเป็นแหล่งข้อมูลที่เหมาะมากตอนนี้
มีคนโพสต์บน X ว่า “นี่คือ论文 30 เรื่องของ Ilya” แต่ไม่มีแหล่งที่มา ไม่บอกว่าเอามาจากไหน และก็ไม่ใช่คนที่เกี่ยวข้องกับ Ilya หรือ Carmack
แล้วจากนั้นมีคนเอาไปทำเว็บไซต์แบบพอใช้ได้ด้วย vibe coding แล้วมันก็ขึ้นหน้าแรก HN แบบนี้ เข้าใจถูกไหม?
- นักศึกษาปี 1 วิทยาการคอมพิวเตอร์คนหนึ่งสนใจหัวข้อบางอย่าง เลยทำ เว็บไซต์รวม论文 เล็ก ๆ แล้วเอามาโพสต์บน HN เพื่อแชร์กับคนอื่น
  แล้วก็มีคนมาเขียนคอมเมนต์ที่ไม่ค่อยจะเป็นคำพูดดี ๆ แบบนี้ เข้าใจถูกไหม
- ชุดรวมแหล่งข้อมูล สำหรับพวกกี๊กก็แทบไม่ต่างจากเหยื่อล่อ
  กดบุ๊กมาร์กกับโหวตแนะนำไว้ แล้วก็ไม่กลับมาดูอีกตลอดกาล แบบนั้นแหละ :)
- ในเว็บไซต์ก็มีระบุแหล่งที่มาไว้ระดับหนึ่ง
  เขียนไว้ว่า “รายชื่อ论文ที่ลือกันว่า Ilya Sutskever ให้ John Carmack”
  ที่ Manning ก็มีหนังสือชื่อ รายชื่อของ Ilya ด้วย
  https://www.manning.com/books/sutskevers-list
- มีคนค้านอีกคนโผล่มาแล้ว ทั้งที่ก็ไม่ได้ขาดแคลนอยู่แล้วนะ
ผมเป็นผู้เขียนเอง เป็นนักศึกษาปี 1 วิทยาการคอมพิวเตอร์ที่ Trinity College Dublin และสร้างขึ้นเพราะตอนเริ่มต้นอ่าน论文วิจัย ผมเคยเผา โควตาการใช้งาน Claude ไปมหาศาลกับการถามคำถามที่คนอื่นก็น่าจะเคยถามกันมาก่อนแล้ว
เว็บไซต์นี้เป็นแค่ไซด์โปรเจกต์ และแน่นอนว่ายังอยู่ระหว่างทำ
ยินดีตอบคำถามหรือรับ PR บน GitHub
- ถ้ามีตัวเลือกให้ ปิดแอนิเมชัน แล้วแสดงลิงก์论文เป็นรายการธรรมดา ๆ น่าจะมีประโยชน์
- น่าสนใจที่จะได้ฟังว่าเป้าหมายของเว็บไซต์คืออะไร
  สงสัยว่าเป็นแค่การโฮสต์รายการใหม่ แล้วนำ论文ไปใส่ในรูปแบบใหม่หรือเปล่า
  อย่างน้อยก็คาดหวังว่าจะมี annotation เกี่ยวกับสิ่งที่ได้เรียนรู้จาก论文แต่ละเรื่องไว้ด้วย
ถ้าจัดตาม ลำดับการอ่าน ที่แนะนำหรือสมเหตุสมผลก็คงดี
เช่น论文ที่แนะนำกลไก attention น่าจะมาก่อน “Attention Is All You Need”
- เห็นด้วย ถ้า论文เหล่านี้เป็น ลำดับการอ่านเชิงตรรกะ ก็ควรบอกไว้ด้านบนเลย จะมีประโยชน์มาก
นี่อาจเป็นโพสต์ X ต้นฉบับที่ทำให้รายการนี้ดังขึ้นมา โพสต์ในปี 2024 และมียอดวิว 876,000
https://x.com/keshavchan/status/1787861946173186062
ส่วนมันเป็นรายการที่ Ilya ทำจริงหรือไม่นั้น ผมคิดว่าไม่ค่อยคุ้มจะถกเถียงมากนัก
หลาย论文เป็นที่ยอมรับอย่างกว้างขวางว่าเป็นสื่อการเรียนรู้ เช่น annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks
ส่วนอื่น ๆ เป็น 论文หลัก ที่คนสนใจสาขานี้อ่านแล้วน่าจะได้อะไรกลับไป: Krizhevsky et al. (2012) แนะนำ AlexNet, Bahdanau et al. (2014) แนะนำ attention, He et al. (2015) แนะนำ ResNet และ Vaswani et al. (2017) แนะนำ Transformer
论文ที่เหลือจะเฉพาะทางกว่า แต่ในนั้นผมคิดว่า Kaplan et al. (2020) ของ OpenAI น่าจะสำคัญที่สุด
ถ้าเป็นมือใหม่และยังไม่คุ้นกับการอ่าน论文 ขอแนะนำ Welch Labs Illustrated Guide To AI
เป็นหนังสือที่สวยงาม และอ่านแล้วเพลิดเพลิน
จากนั้นถ้าอ่าน论文เหล่านี้ต่อ ก็น่าจะเข้าใจได้ลึกขึ้น
ตอนแรกคิดว่าเป็น “论文 30 อันดับแรกที่ Ilya เขียน” เลยงงอยู่ครู่หนึ่งว่าทำไม “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” ถึงอยู่ในรายการ
จากประโยคที่ว่า “ไม่ได้อ่านเวอร์ชันเว็บไซต์ทั้งหมดตั้งแต่ต้นจนจบ” ก็ยังไม่ชัดว่าเวอร์ชันเว็บไซต์หมายถึงเนื้อหาจริงหรือ “คำอธิบาย”
ไม่ว่าจะเป็นอย่างไหนก็ดูเป็น สัญญาณเตือนใหญ่
หลังจากเห็นรายการนี้ครั้งแรก ผมสร้าง PdfToMp3 เพื่อฟัง论文เหล่านี้
ตอนนี้พัฒนามาเป็น ListenDock แล้ว
ที่น่าสนใจคือ PdfToMp3 มีมาก่อน NotebookLM และตอนนั้นก็มี “overview” อยู่แล้วด้วย แต่เราเรียกมันว่าคำอธิบายของครู
ตัวอย่าง “Teacher Explanation” สำหรับ论文 “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” อยู่ที่นี่
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- ไม่รู้ว่าทำไมทุกครั้งที่โพสต์อะไรที่นี่ถึงโดน downvote
  สงสัยว่าเพราะมันดูเหมือน สแปม เกินไป หรือเพราะเป็น AI หรือมีบอต downvote ที่ตามผมอยู่กันแน่
论文เชิงทฤษฎี เกี่ยวกับ Kolmogorov complexity สะดุดตา
สำหรับคนที่ไม่คุ้นเคย Ilya โต้แย้งว่าเหตุผลที่โครงข่ายประสาททั่วไปได้ หรือพูดอีกอย่างคือเหตุผลที่มันใช้งานได้ตั้งแต่แรก เป็นเพราะมันแทบจะค้นพบวิธีอธิบายข้อมูลฝึกให้เรียบง่าย และลู่เข้าไปสู่ขอบเขตของ Kolmogorov complexity [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- นั่นเป็นเรื่องที่ใช้ได้กับ โมเดลสถิติ ทุกแบบ ไม่ใช่คุณสมบัติวิเศษเฉพาะของโครงข่ายประสาท
ชอบวิธีนำเสนอรายการนี้
ก่อนอ่านหรือระหว่างอ่าน论文เหล่านี้ ถ้าได้ดูการบรรยายหรือพอดแคสต์ของ Ilya สักสองสามรายการ ก็น่าจะช่วยให้เข้าใจภาพรวมและเห็นว่างานแต่ละชิ้นเชื่อมโยงกันอย่างไร
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

ขอบคุณสำหรับรายการแหล่งข้อมูลที่ช่วยให้ศึกษาเพื่อเข้าสู่โลกของ LLM/AI สมัยใหม่ได้ครับ

-> CNN สอนวิธีอ่านพื้นที่, RNN/LSTM สอนวิธีจดจำเวลา, attention สอนวิธีค้นหาข้อมูลที่จำเป็น, Transformer สอนวิธีทำให้กระบวนการนั้นทำงานแบบขนาน, กลุ่ม GNN/Relation/Memory สอนวิธีคำนวณความสัมพันธ์ของวัตถุต่าง ๆ, งานวิจัยด้าน scaling/infrastructure สอนวิธีฝึกสิ่งนั้นในขนาดใหญ่ และกลุ่ม MDL/Kolmogorov/complexity สอนวิธีคิดว่าเหตุใดการเรียนรู้จึงเป็นปัญหาของการบีบอัดและการทำให้ใช้ได้ทั่วไป

กล่าวคือ งานวิจัยทั้ง 27 รายการนี้เป็นชุดแหล่งข้อมูลที่แสดงให้เห็นจากหลายมุมมองว่า “ระบบอัจฉริยะจะแข็งแกร่งขึ้นเมื่อมีการผสานกันของ inductive bias ที่ดี การไหลของข้อมูลที่เสถียร ความจำแบบเลือกสรร การคำนวณความสัมพันธ์ การเรียนรู้ขนาดใหญ่ และการค้นพบโครงสร้างที่บีบอัดได้”