ระบบดีปเลิร์นนิง

• รวบรวม ตารางการสอนวิชา Deep Learning Systems ตามเวลา CMU ตั้งแต่ 26/8 ถึง 8/12 ไว้ในที่เดียว ทั้งวันที่ หัวข้อ ผู้สอน สไลด์ และลิงก์วิดีโอเวอร์ชันปี 2022
• เวลาของบางคาบอาจเปลี่ยนแปลงได้ และ สไลด์ของคาบเรียนในอนาคต เป็นเอกสารจากเวอร์ชันก่อนหน้า ซึ่งจะมีการอัปเดตก่อนเข้าเรียน
• ช่วงต้นเริ่มจากบทนำและการทบทวน ML ต่อด้วย automatic differentiation, optimization, abstraction และ implementation ของไลบรารี neural network รวมถึงการ implement convolutional network
• ช่วงกลางถึงท้ายครอบคลุม hardware acceleration สำหรับ linear algebra, GPU, RNN, Transformers, การฝึกโมเดลขนาดใหญ่, generative model, การปรับแต่ง pretrained model และการ deploy โมเดล
• วิดีโอการสอนออนไลน์จะเผยแพร่พร้อมสไลด์เมื่อพร้อมให้ใช้งาน และตารางยังรวมวันงดเรียนช่วง Fall Break, Democracy Day, Thanksgiving รวมถึงการนำเสนอโปรเจกต์ของนักศึกษา

---

วิธีจัดเตรียมเอกสารและช่วงเวลาของตาราง

• การบรรยายทั้งหมดจัดไว้เป็น ตารางเบื้องต้น
  • เวลาที่แน่นอนของบางคาบอาจมีการเปลี่ยนแปลง
  • สไลด์ของคาบเรียนในอนาคตเป็นเอกสารการสอนจากเวอร์ชันก่อนหน้า และจะมีการโพสต์สไลด์ที่อัปเดตก่อนแต่ละคาบเรียน
  • วิดีโอการสอนออนไลน์ที่เปิดสาธารณะจะถูกโพสต์พร้อมสไลด์เมื่อสามารถจัดหาได้
• ตารางประกอบด้วยวันที่ตามเวลา CMU, หมายเลขคาบและหัวข้อ, ผู้สอน, สไลด์ และ วิดีโอเวอร์ชันปี 2022
• ผู้สอนระบุเป็น Dettmers, Chen, Both, Students

ลำดับเนื้อหาการสอน

• ตั้งแต่ปลายเดือนสิงหาคมถึงกลางเดือนกันยายน ครอบคลุมพื้นฐานของระบบดีปเลิร์นนิง
  • 8/26: Introduction / Logistics
  • 8/28: ML Refresher / Softmax Regression
  • 9/2: Manual Neural Networks / Backprop
  • 9/4: Automatic Differentiation
  • 9/9: Automatic Differentiation Implementation
• ตั้งแต่กลางเดือนกันยายนถึงต้นเดือนตุลาคม ขยายไปสู่การฝึกโมเดลและการ implement framework
  • 9/11: Optimization
  • 9/16: Neural Network Library Abstractions
  • 9/18: Normalization, Dropout, + Implementation
  • 9/23: NN Library Implementation
  • 9/25: Convolutional Networks
• ตั้งแต่ปลายเดือนกันยายนถึงกลางเดือนตุลาคม ครอบคลุม hardware acceleration และการ implement CNN
  • 9/30: Hardware Acceleration for Linear Algebra
  • 10/2: Hardware Acceleration + GPUs
  • 10/7: Hardware Acceleration Implementation
  • 10/9: Convoluations Network Implementation
  • วันที่ 10/14 และ 10/16 ไม่มีเรียนเนื่องจาก Fall Break
• ช่วงปลายเดือนตุลาคม ครอบคลุม sequence modeling และ Transformers
  • 10/21: Sequence Modeling + RNNs
  • 10/23: Sequence Modeling Implementation
  • 10/28: Transformers and Autoregressive Models
  • 10/30: Transformers Implementation
• หลังเดือนพฤศจิกายนเป็นต้นไป ต่อด้วยโมเดลขนาดใหญ่, generative model, การ deploy และการนำเสนอโปรเจกต์
  • วันที่ 11/4 ไม่มีเรียนเนื่องจาก Democracy Day
  • 11/6: Training Large Models
  • 11/11: Generative Models
  • 11/13: Generative Models Implementation
  • 11/18: Customize Pretrained Models
  • 11/20: Model Deployment
  • 11/25: Future Directions / Q&A
  • วันที่ 11/27 ไม่มีเรียนเนื่องจาก Thanksgiving
  • วันที่ 12/2, 12/4 และ 12/8 เป็นกำหนดการนำเสนอโปรเจกต์ของนักศึกษา

[GN⁺]

ความคิดเห็นบน Hacker News

• ชอบมากตรงที่เสียดสีชื่อที่แทบไม่มีความหมายในดีปเลิร์นนิง เช่น “keys”, “queries”, “values” ในสไลด์เรื่อง การคำนวณ self-attention
  ในบริบทของ LSTM ก็เสียดสีว่ามีการยัดชื่ออย่าง “forget gate”, “input gate”, “output gate” เข้าไป แต่กลับกลายเป็นว่าคำอธิบายแบบนี้ทำให้มั่นใจขึ้นว่าเราเข้าใจหัวข้อนั้นจริง ๆ
  เมื่อก่อนรู้สึกเหมือนถูกคำศัพท์แปลก ๆ พาออกนอกทางไปหมด

  • ยิ่งเห็นคอมมูนิตี้แมชชีนเลิร์นนิงหยิบ ศัพท์ประสาทวิทยา มาใช้ตามใจชอบก็ยิ่งหนักกว่าเดิม
    แต่ก็คิดว่าการมีชื่อที่จำง่ายไว้ใช้เวลาอธิบายแนวคิดเป็นคำพูดนั้นเป็นเรื่องดี
  • “forget gate”, “input gate”, “output gate” เป็นชื่อที่สมเหตุสมผล
    cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gate
out_h = cell_h * output_gate
    อย่างที่เห็น forget_gate จะคูณด้วยตัวเลขในช่วง [0, 1] เพื่อมาสก์อินพุต, input_gate ควบคุมอินพุตจากภายนอก และ output_gate ก็แน่นอนว่าควบคุมเอาต์พุต
  • พอเข้าใจแล้วว่ามันแทนอะไร ชื่อก็ฟังดูสมเหตุสมผล อยากรู้เหมือนกันว่าจะเรียกเป็นอย่างอื่นว่าอะไรดี
  • ก็น่าสนุกดีที่แมชชีนเลิร์นนิงบิดใช้ ศัพท์สถิติ จนน่าหงุดหงิดเหมือนกัน

• สื่อการสอนแบบเปิดเผยต่อสาธารณะ ให้ความรู้สึกอบอุ่นใจจริง ๆ

• คอร์สนี้เป็นคอร์สที่ค่อนข้างแปลกและมีเอกลักษณ์ เพราะครอบคลุมบทนำสู่ การคอมไพล์และการนำแมชชีนเลิร์นนิงไปใช้งานจริง

  • ชอบสไตล์ของผู้สอนคือ Kolter มาก และชอบคอร์สนี้เป็นพิเศษเพราะหลังแต่ละบทเรียนจะมีวิดีโอการ implement ตามมาพร้อมไฟล์โน้ตบุ๊ก
    คอร์สดีปเลิร์นนิงส่วนใหญ่มักโยนส่วน implementation ให้ผู้ช่วยสอน และไม่บันทึกหรือเผยแพร่ด้วย แต่คอร์สนี้เป็นข้อยกเว้น
    อีกข้อยกเว้นที่ดีคือคอร์ส NYU Deep Learning ของ Yann LeCun และ Alfredo Canziani [0] ซึ่งบันทึกและเผยแพร่เซสชันปฏิบัติการ “Practica” ทั้งหมดเช่นกัน Canziani เป็นครูที่ยอดเยี่ยม
    [0]: https://atcold.github.io/pytorch-Deep-Learning

• ดีเลย ผม/ฉันก็ชอบ คอร์สดีปเลิร์นนิงของ VU Amsterdam บน YouTube มากเหมือนกัน
  ถึงจะเน้นฝั่งระบบน้อยกว่า แต่ถือว่าดีมากสำหรับบทนำสู่แมชชีนเลิร์นนิงสมัยใหม่ที่ใช้โครงข่ายประสาท

  • ลิงก์: https://dlvu.github.io/

• สงสัยว่าฤดูใบไม้ร่วงนี้จะเปิดคอร์สนี้อีกไหม ดูเหมือนว่าถ้าจะส่งการบ้านต้องลงทะเบียน เลยหวังว่าจะเปิดอีกเร็ว ๆ นี้

• เห็น MLSys เติบโตขึ้นแล้วน่าตื่นเต้น
  วิธีการของดีปเลิร์นนิงใช้การคำนวณหนักมาก จึงมีความก้าวหน้าจำนวนมากมาจากอัลกอริทึมใหม่ ๆ และวิธีเพิ่มประสิทธิภาพแบบใหม่

• ตอนอยู่ CMU เคยลงเรียนคอร์สนี้ตอนเปิดครั้งแรก เป็นคอร์สที่ยอดเยี่ยมและจัดโครงสร้างได้ดีมากจริง ๆ

• ชอบที่ครอบคลุมเรื่อง การเร่งความเร็วด้วยฮาร์ดแวร์ ดูเป็นเรื่องที่ดี เป็นช่องว่างในความรู้ของผม/ฉัน และเป็นด้านที่อยากเริ่มทำความเข้าใจ