อิลยา ซุตสเคเวอร์: “ถ้าคุณเรียนรู้ทั้งหมดนี้ คุณจะเข้าใจ 90% ของสิ่งสำคัญ”

รายการอ่านที่อิลยา ซุตสเคเวอร์แนะนำเกี่ยวกับแมชชีนเลิร์นนิง/AI

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• PAGE 434 onwards: Komogrov Complexity
• CS231n Convolutional Neural Networks for Visual Recognition

รวมลิงก์: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

ดูเหมือนว่าจะมีปัญหาเรื่องการครอว์ลของบอต Neo นะ

[xguru]

ดูเหมือนว่า Reddit จะบล็อกครับ ผมเลยใส่ไว้ให้แบบทำมือ ;)

[GN⁺]

ความคิดเห็นจาก Hacker News

สรุปรวมคอมเมนต์จาก Hacker News

• พาดหัวทำให้ขอบเขตของงานนี้ดูเล็กกว่าความเป็นจริง ถ้าคลิกเข้าไปดูว่าแต่ละอย่างคืออะไร:

  • อันหนึ่งเป็นคอร์สเต็มเกี่ยวกับ convolutional neural networks ลิงก์
  • อันหนึ่งเป็นตำราเรียนยาว 500 หน้า ลิงก์
  • อีกอันเป็นตำราเรียนยาว 80 หน้า ลิงก์
  • ถ้าศึกษารายการนี้แบบเต็มเวลาเป็นเวลาราว 1 ปี ก็อาจทำได้ และอาจคุ้มค่าขึ้นอยู่กับลำดับความสำคัญ

• เมื่อสักพักก่อนผมก็ได้คัดลอกรายการไว้ที่ ลิงก์ เพื่อให้ wget ได้ง่ายขึ้น (เช่น ดึง pdf จาก arxiv ทั้งหมด)

  • สามารถใช้คำสั่ง wget เพื่อดาวน์โหลด pdf ทั้งหมดจาก arxiv ได้
  • ผมกับเพื่อนใช้ pdfunite รวมเป็น pdf เดียว แล้วสั่งโรงพิมพ์พิมพ์เป็นหนังสือสันห่วง ผลลัพธ์ออกมาดีมาก

• โปรดจำไว้ว่า ยังไม่มีการยืนยันว่ารายการนี้เป็นรายการจริง

  • ยังไม่ได้ยืนยันว่ารายการนี้เป็นรายการจริง
  • ว่ากันว่ารายการนี้คือรายการที่ Ilya ให้ John Carmack เมื่อ 1 ปีก่อน

• ถ้าไม่มีพื้นฐาน CS มาก่อน ต้องใช้เวลานานแค่ไหนกว่าจะเรียน prerequisite เพื่อจะมาเรียนสิ่งเหล่านี้ได้?

  • ลองอ่านรายการแล้วพบว่าแม้แต่ชื่อเรื่องประมาณครึ่งหนึ่งก็ยังเข้าใจยาก
  • เลยสงสัยว่าถ้าเริ่มจากรายการนี้จะพอเข้าใจได้ไหม หรือควรเริ่มจากที่อื่นก่อน

• สิ่งที่ผู้คนมักลืมคือ ถ้าไม่มีเป้าหมายที่เหมาะสมและจับต้องได้ ต่อให้อ่าน paper แกนหลักหรือน่าสนใจมากแค่ไหน สุดท้ายก็จะจำอะไรไม่ได้อยู่ดี

  • ถ้าไม่มีเป้าหมายที่ชัดเจนและเป็นรูปธรรม ต่อให้อ่าน paper มากแค่ไหนก็จะไม่เหลืออะไรในความทรงจำ

• มีการพูดคุยกันมาก่อนหน้านี้อยู่บ้าง ย้อนกลับไปถึงเดือนตุลาคม 2022 เลยสงสัยว่าตอนนี้รายการนี้ล้าสมัยไปแค่ไหนแล้ว

  • สงสัยว่ารายการนี้เก่าแค่ไหน เพราะมีการพูดคุยกันมาตั้งแต่เดือนตุลาคม 2022

• นี่ก็แค่โฟลเดอร์บุ๊กมาร์กของใครสักคน มีหลักฐานตรงไหนว่ามันเป็นสิ่งที่ Ilya แนะนำ?

  • ไม่มีหลักฐานว่ารายการนี้เป็นสิ่งที่ Ilya แนะนำ อาจเป็นแค่โฟลเดอร์บุ๊กมาร์กของใครบางคน

• ข้ออ้างว่านี่คือ 90% ของสิ่งสำคัญใน ML ดูจะกล้าเกินไปหน่อย

  • คำกล่าวว่ารายการนี้ครอบคลุม 90% ของสิ่งสำคัญใน machine learning ดูแรงไปหน่อย เพราะยังขาดหัวข้อสำคัญอย่าง reinforcement learning หรือ graph neural networks

• ในนี้ไม่มีอะไรเกี่ยวกับ llms เลย ทั้งที่ตอนนี้เรื่อง in-context learning, retrieval augmentation, tool using และ multimodality กำลังเป็นแนวหน้าที่ร้อนแรงมาก

  • รายการนี้ไม่มีเนื้อหาเกี่ยวกับ LLM เลย และขาดหัวข้อสำคัญอย่างการเรียนรู้ในบริบท การเสริมด้วยการค้นคืน การใช้เครื่องมือ และมัลติโมดัลลิตี

• การอ่านงานวิจัย 30 ชิ้นไม่ได้แปลว่า "ได้เรียนรู้และเข้าใจแล้ว"

  • การอ่าน paper 30 ฉบับไม่ได้หมายความว่า "ได้เรียนรู้และเข้าใจแล้ว" โดยเฉพาะถ้าเริ่มจากศูนย์