ทำความเข้าใจ Deep Learning

 (udlbook.github.io)
2 คะแนน โดย GN⁺ 2023-11-27 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • นี่คือเว็บไซต์การเรียนรู้ที่รวบรวมแบบฝึกหัดเขียนโค้ด สื่อการสอน และเอกสารอ่านเพิ่มเติมไว้ในที่เดียว เพื่อให้สามารถเรียนตามหนังสือ Understanding Deep Learning ของ Simon J.D. Prince ที่ตีพิมพ์โดย MIT Press ในปี 2023 ได้
  • มี Python notebook 68 ชุด ครอบคลุมเนื้อหาทั้งเล่ม โดยเป็นการฝึกปฏิบัติในรูปแบบที่ผู้เรียนเติมโค้ดในส่วนที่เว้นไว้ตามเนื้อหาในหนังสือ
  • สื่อสำหรับผู้สอนประกอบด้วยไฟล์ภาพ วิดีโอบรรยายของ 12 บทแรก สไลด์ สมุดเฉลย ภาพอินเทอร์แอ็กทีฟสำหรับใช้สอน และไฟล์ LaTeX ของสมการ
  • สไลด์ถูกออกแบบโดยคำนึงถึง คอร์ส Deep Learning ระดับปริญญาตรี 20 บรรยาย ตั้งแต่ supervised learning ไปจนถึง CNN, การสร้างภาพ, Transformers and LLMs
  • เอกสารอ่านเพิ่มเติมขยายไปยังหัวข้อต่าง ๆ เช่น computer vision, คณิตศาสตร์สำหรับ machine learning, optimization, reinforcement learning, ทฤษฎี ML, Responsible AI จึงใช้ได้ทั้งสำหรับการเรียนด้วยตนเองและการเตรียมการสอน

ข้อมูลหนังสือและการอ้างอิง

  • Understanding Deep Learning เป็นหนังสือที่เขียนโดย Simon J.D. Prince และในข้อมูลอ้างอิงแบบ BibTeX ระบุว่าเผยแพร่โดย MIT Press ในปี 2023
  • รายการ BibTeX ที่ให้มาประกอบด้วยข้อมูลต่อไปนี้
    • author = "Simon J.D. Prince"
    • title = "Understanding Deep Learning"
    • publisher = "The MIT Press"
    • year = 2023
    • url = "http://udlbook.com";

แบบฝึกเขียนโค้ดตามหนังสือ

  • เว็บไซต์มี Python notebook แบบฝึกหัด 68 ชุด ที่ครอบคลุมทั้งหนังสือ
  • แบบฝึกหัดอยู่ในรูปแบบการเติม โค้ดที่เว้นว่างไว้ โดยอิงจากเนื้อหาในหนังสือ
  • โน้ตบุ๊กอยู่ใน GitHub repository udlbook/udlbook และแต่ละรายการสามารถเปิดได้ผ่านลิงก์ ipynb/colab

  • พื้นฐานและองค์ประกอบของโครงข่ายประสาท

    • บทต้น ๆ ครอบคลุม คณิตศาสตร์พื้นฐาน, supervised learning, shallow neural networks, activation functions, network composition และ deep neural networks
    • แบบฝึกหัดเรื่อง loss functions มี least squares loss, binary cross-entropy loss และ multiclass cross-entropy loss

  • การทำ optimization และการคำนวณในการเรียนรู้

    • โน้ตบุ๊กด้าน optimization ครอบคลุม line search, gradient descent, stochastic gradient descent, momentum และ Adam
    • แบบฝึกหัดการคำนวณกราดิเอนต์ประกอบด้วย backpropagation บน toy model, backpropagation ทั่วไป และ initialization

  • ประสิทธิภาพ, regularization และ CNN

    • แบบฝึกหัดด้านประสิทธิภาพครอบคลุม MNIST-1D performance, bias-variance trade-off, double descent และ high-dimensional spaces
    • แบบฝึกหัดด้าน regularization มี L2 regularization, implicit regularization, ensembling, Bayesian approach และ augmentation
    • แบบฝึกหัด convolution ครอบคลุม 1D convolution, MNIST-1D convolution, 2D convolution, downsampling & upsampling และ convolution สำหรับ MNIST

  • หัวข้อ Deep Learning สมัยใหม่

    • โน้ตบุ๊กด้านเสถียรภาพและสถาปัตยกรรมของโครงข่ายครอบคลุม shattered gradients, residual networks และ batch normalization
    • แบบฝึกหัด Transformer มี self-attention, multi-head self-attention, tokenization และ decoding strategies
    • หัวข้อ graph neural networks ประกอบด้วย graph representation, graph classification, neighborhood sampling และ graph attention networks
    • แบบฝึกหัดด้าน generative models ครอบคลุม GAN toy example, Wasserstein distance, normalizing flows, latent variable models และ diffusion models
    • แบบฝึกหัด reinforcement learning ครอบคลุม Markov decision processes, dynamic programming, Monte-Carlo methods, temporal difference methods และ control variates
    • หัวข้อท้าย ๆ มี random data, full-batch gradient descent, lottery tickets, adversarial attacks, bias mitigation และ explainability

การบรรยายและสื่อสำหรับผู้สอน

  • ทรัพยากรสำหรับผู้สอนมี สื่อภาพประกอบ, สไลด์ และสมุดเฉลย
  • มี ลิงก์ลงทะเบียน เพื่อรับ answer booklet เมื่อสมัครกับ MIT Press
  • Interactive figures เป็นสื่อที่ใช้สำหรับอธิบายแนวคิดในชั้นเรียน
  • มี working Latex file ที่รวมสมการทั้งหมดไว้

  • สไลด์ Deep Learning ระดับปริญญาตรี 20 บรรยาย

    • สไลด์ชุดนี้จัดทำขึ้นสำหรับ 20 lecture undergraduate deep learning course
    • หัวข้อสไลด์ที่เผยแพร่ประกอบด้วย Introduction, Supervised Learning, Shallow Neural Networks, Deep Neural Networks, Loss Functions, Fitting Models, Computing Gradients, Initialization, Performance, Regularization, Convolutional Networks, Image Generation, Transformers and LLMs

เอกสารอ่านเพิ่มเติม

  • เว็บไซต์รวบรวมบทความ บล็อก และหนังสืออื่น ๆ ที่ใช้รูปแบบและสัญลักษณ์เดียวกับ Understanding Deep Learning ไว้เป็นเอกสารเสริม

  • Computer vision และพื้นฐาน machine learning

    • Computer vision: models, learning, and inference เป็นหนังสือที่ตีพิมพ์โดย CUP ในปี 2012 โดยเน้น probabilistic models และมีเนื้อหา ML จำนวนมากจากยุคก่อน deep learning
    • เอกสารคณิตศาสตร์สำหรับ machine learning ครอบคลุม linear algebra, บทนำสู่ความน่าจะเป็น, probability distributions, การ fit probability distributions และ normal distribution
    • เอกสาร machine learning ประกอบด้วย learning and inference, regression models, classification models, few-shot learning และ meta-learning

  • Transformers, LLMs, NLP

    • เอกสาร Transformers และ LLMs ครอบคลุมภาพรวมของ LLM, Transformers I·II·III, การฝึก LLM และ fine-tuning รวมถึงการเร่งความเร็ว inference ของ LLM
    • เอกสาร NLP ครอบคลุม neural natural language generation, parsing I·II·III และ XLNet
    • หัวข้อเกี่ยวกับ Transformer มี self-attention, position encoding, โครงสร้าง multi-head, Transformer block, encoder, decoder และ training tricks

  • Optimization, แบบจำลองตามเวลา, reinforcement learning

    • เอกสารด้าน optimization ครอบคลุม gradient-based optimization, Bayesian optimization และ SAT Solvers I·II·III
    • เอกสารแบบจำลองตามเวลาครอบคลุม Kalman filter, smoothing, Extended Kalman filter, Unscented Kalman filter และ particle filtering
    • เอกสาร reinforcement learning Transformers in RL ครอบคลุมโจทย์ของ RL, ข้อดีของ Transformer ใน RL, representation learning, reward learning, policy learning, interpretability และ applications

  • ODEs, SDEs, ทฤษฎี ML

    • ชุดเอกสาร ODEs and SDEs in machine learning ครอบคลุม ODEs, SDEs, gradient descent, stochastic gradient descent, residual networks, diffusion models และ physics-informed machine learning
    • เอกสารที่เกี่ยวข้องประกอบด้วยบทนำสู่ ODE, closed-form solutions ของ ODE, วิธีเชิงตัวเลขสำหรับ ODE และ stochastic processes and SDEs
    • เอกสาร ML Theory ครอบคลุม gradient flow, neural tangent kernel, การประยุกต์ใช้ NTK, Bayesian ML I·II, Bayesian neural networks และ neural network Gaussian processes

  • Unsupervised learning, graphical models, Responsible AI

    • เอกสารด้าน unsupervised learning ครอบคลุม complex data densities, variational autoencoders และ normalizing flows
    • เอกสารด้าน graphical models ประกอบด้วย graphical models, models for chains and trees และ models for grids
    • เอกสาร Responsible AI ครอบคลุม bias and fairness, explainability I·II และ differential privacy I·II

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-27
ความคิดเห็นจาก Hacker News

  • ความคิดเห็นที่นี่โดยรวมแบ่งเป็นสองกลุ่ม: 1) สร้างระบบ AI ได้แม้ไม่มีความรู้นี้ จึงไม่จำเป็นต้องรู้ก็ได้, 2) ถ้าต้องการเข้าใจว่าในความเป็นจริงเกิดอะไรขึ้น ก็จำเป็นต้องมี ความรู้พื้นฐาน แบบนี้
    ผมคิดว่าถูกทั้งคู่ และวงการกำลังแยกออกเป็นทักษะสองสายคือ วิศวกร ML กับ นักวิทยาศาสตร์/นักวิจัย ML
    ในทีมควรมีทั้งสองแบบ นักวิทยาศาสตร์อาจทำงานช้า ส่วนวิศวกรจะลอง API และโมเดลโอเพนซอร์สหลาย ๆ ตัวได้เร็ว แต่เมื่อเจอทางตันหรือต้องเปลี่ยนอัลกอริทึม วิศวกรจำนวนมากจะเริ่มสั่นคลอน ตอนนั้นต้องใช้วิธีคิดแบบวิจัยและพัฒนาที่วิศวกรหลายคนไม่คุ้นเคย และนักวิทยาศาสตร์ AI ก็จะสำคัญขึ้น

    • ประสบการณ์ของผมกลับตรงกันข้าม ผู้คนประเมิน พลังในการสร้างระบบ ต่ำเกินไป และประเมินต่ำไปว่าปัญหาส่วนใหญ่ที่คุ้มค่าจะแก้นั้นต้องใช้เทคนิคที่น่าเบื่อและไม่ตายตัว
      ตลอด 10 ปีที่ผ่านมา ผมเห็นแพตเทิร์นเดียวกันในหลายทีม บริษัทมีงบขึ้นมาหน่อยและเชื่อว่าปัญหาของตัวเองพิเศษ จากนั้นก็จ้าง data scientist ระดับด็อกเตอร์ที่มี论文อยู่ไม่กี่ฉบับ แต่บ่อยครั้งคนเหล่านี้รู้แค่ R และเพิ่งจบ Python bootcamp มาเท่านั้น
      ผ่านไป 3 เดือนก็ยังแทบไม่มีผลงาน มีแต่ Jupyter notebook เต็มไปหมด ไม่มีโค้ด production และบางคนแม้แต่สภาพแวดล้อมทดลองก็ยังไม่มี
      ปัญหาธุรกิจก็ยังอยู่เหมือนเดิม บริษัทจึงตระหนักว่า หากมี data scientist มากแต่ขาด data/ML engineer จะไปติดตรงการ deploy ขึ้น production หรือเพราะเข้าใจ Python ไม่พอ จนสร้างเดธสตาร์ของ data pipeline + algorithm + infrastructure และใช้ทรัพยากรเพิ่มขึ้นอีก 70%
      โปรเจกต์ล่าช้า ผู้คนเริ่มร้อนใจ ตอนนี้ทีมมูลค่า 2.5 ล้านดอลลาร์ต่อปีเสิร์ฟผ่าน batch หรือ REST API ไม่ได้ จนแม้แต่ proof of concept ก็ยังส่งมอบไม่ได้
      บริษัทสูญเสียแรงส่ง คู่แข่งปล่อยโซลูชันที่ไม่สมบูรณ์แต่ล้ำหน้ากว่าออกมา ดึงผู้ใช้และค่อย ๆ ปรับปรุงต่อ จากนั้น PM กับ engineering manager ก็ทะเลาะกันเรื่องความรับผิดชอบ ส่วน VP ฝ่ายผลิตภัณฑ์/วิศวกรรมก็เริ่มมองหาแพะรับบาป ด็อกเตอร์บางคนถูกปลดออกและไปสอนตามมหาวิทยาลัยท้องถิ่น
    • การแบ่งแบบนี้ดูเหมือนอุปมาใกล้เคียงไหม? คนสร้างโมเดล กับคนใช้โมเดล, คนสร้างภาษาโปรแกรมมิง กับคนใช้ภาษานั้น
    • ฟังดูเหมือนข้อความขายของเพื่อโปรโมตนักวิทยาศาสตร์ AI
    • ในงานจริง ถ้าติดขัดก็ย้อนกลับไปพื้นฐาน นี่แทบจะชัดเจนอยู่แล้ว และคนเก่งควรพยายามทำได้ทั้งสองอย่าง
      ในความหมายนี้ ผมไม่เข้าใจว่าการแยกเป็นวิศวกร/นักวิทยาศาสตร์ ML มาจากไหน และดูเหมือนเป็นการแบ่งที่บางคนใช้เพื่อความพึงพอใจในตัวเอง

  • ในฐานะคนที่พลาดเรื่องนี้ไป ผมสงสัยว่าการเรียนตอนนี้มีแค่ ความหมายทางประวัติศาสตร์ หรือยังเกี่ยวข้องกับการจ้างงานในอนาคตอยู่
    เรื่อง AI นี่จินตนาการเหมือน OpenAI จะมาแย่งข้าวกลางวันของทุกคนไปหมด ผมคิดผิดไปไกลหรือเปล่า?

    • สำหรับเป้าหมายเชิงปฏิบัติ สิ่งที่สำคัญที่สุดคือการเรียนรู้ว่าสิ่งนี้ ทำอะไรได้จริง รอบ ๆ ML มีความคิดคลุมเครือเยอะมากแบบ “โยน AI เข้าไปแล้วมันจะดีขึ้นอย่างวิเศษ”
      สื่ออย่างวิดีโออธิบาย LLM ล่าสุดของ Karpathy เป็นเนื้อหากึ่งโอเวอร์ที่ดีสำหรับคนทั่วไป แต่ sense เชิงปฏิบัติที่ลึกขึ้นอีกระดับได้มายากถ้าไม่ลงมือทำเอง ไม่จำเป็นต้องจำคณิตศาสตร์ทั้งหมด แต่ควรรู้สึกได้ว่า “อินเทอร์เฟซ” ของส่วนประกอบต่าง ๆ เป็นอย่างไร
      สิ่งสำคัญคือแต่ละเทคนิคของโมเดลทำอะไรจริง ๆ โดยเฉพาะมันทำอะไรใน ช่วง inference ซึ่งต้องผสานกับสแตกส่วนที่เหลือให้ดี
      สำหรับคำถามว่ายังเกี่ยวข้องต่อไปไหม ดีปเลิร์นนิง ในความหมายของเครือข่ายประสาทหนาแน่นที่ฝึกให้ปรับฟังก์ชันเฉพาะให้เหมาะสมนั้น ในเชิงปฏิบัติแทบไม่เปลี่ยนแปลงโดยพื้นฐานมาราว 15 ปีแล้ว และในเชิงทฤษฎีก็เก่ากว่านั้นอีก สำหรับการใช้งานส่วนใหญ่ยังสำคัญและใช้แพร่หลายกว่าสิ่งแบบ OpenAI มาก
      สิ่งที่มีการประมาณค่าตัวเลข เช่น การปรับแต่งโฆษณาหรือการสร้างแบบจำลองทางการเงิน ไม่ได้ใช้ LLM แต่ใช้โมเดลเฉพาะวัตถุประสงค์เป็นส่วนหนึ่งของระบบที่ใหญ่กว่า อินเทอร์เฟซแบบ “ป้อนตัวเลขแล้วได้ตัวเลขกลับมา” อธิบายได้ ผสานเข้ากับสแตกซอฟต์แวร์ง่าย และวัดผลได้ดี
      มี error bar ที่เข้าใจได้ และบางครั้งยังสอดคล้องกันด้วย มีอินเทอร์เฟซที่ควบคุมได้ ซึ่งจะไม่จู่ ๆ คายความลับบริษัทออกมาหรือลืม serialize JSON เวลาแฝงและต้นทุนก็ต่ำกว่ามาก
      ถ้าต้องเรนเดอร์หน้าเว็บภายใน 100ms หรือรัน optimization บนตัวเลือกนับล้าน generative AI ไม่ใช่ตัวเลือกที่ใช้งานได้จริง และผมคิดว่าในอนาคตก็น่าจะยังเป็นแบบนั้น
      ผมไม่ได้มีพื้นฐานคณิตศาสตร์หรือทฤษฎี ML มากนัก แต่ใช้เวลาส่วนใหญ่ในช่วง 10 ปีที่ผ่านมา ร่วมสร้าง infrastructure, data pipeline และ monitoring กับผู้เชี่ยวชาญ ML ต่อให้ผม integrate sigmoid ทันทีไม่ได้ แต่นั่นไม่ใช่หัวใจหลัก ผมเคยทำมาแล้ว พอรู้สึกได้ว่าฟังก์ชันทำงานอย่างไร และสามารถให้เหตุผลกับมันในฐานะองค์ประกอบ black box ได้
    • เรื่องนี้เกี่ยวกับ ดีปเลิร์นนิง ซึ่งเป็นหมวดที่กว้างกว่า LLM ถ้าสนใจ machine learning ก็ควรเรียนดีปเลิร์นนิง และมันมีประโยชน์มากด้วยหลายเหตุผล
      ต่างจากแขนงอื่นของ ML ดีปเลิร์นนิงมีส่วนประกอบที่เข้ากันได้ดี หากต้องการก็ใช้ Transformer ร่วมกับ CNN ได้ อีกทั้งยังทำให้ใช้ machine learning กับข้อมูลอะไรก็ได้ ไม่ว่าจะเป็นข้อความ ภาพ วิดีโอ เสียง และยัง scale ในเชิงคำนวณได้อย่างเป็นธรรมชาติ
      ในฐานะคนที่เกี่ยวข้องกับวงการนี้พอสมควร ผมเสียดายที่ LLM ทำให้ผู้คนถอยห่างจาก ML และดีปเลิร์นนิง แล้วเชื่อความเข้าใจผิดว่า “ตอนนี้ไม่มีเหตุผลต้องทำแล้ว” อัลกอริทึมขนาดใหญ่มีค่าใช้จ่ายในการรันแพง throughput ช้า และโดยทั่วไปประสิทธิภาพด้อยกว่าโมเดลเฉพาะวัตถุประสงค์ ในงานจำนวนมากก็ไม่ได้ใช้ง่ายกว่า encoder network
      อาจเป็นความคิดที่ลำเอียงก็ได้ แต่ผมมองว่านี่เป็นหนึ่งในสาขาที่สนุกที่สุดในการเรียนรู้ในคอมพิวติง ถ้ามีไอเดียดี ๆ ก็สร้างสิ่งระดับทันสมัยได้ด้วย GPU ธรรมดาที่บ้าน แค่ต้องหานิชที่ไม่ได้รับความสนใจเท่า LLM
    • ถ้าต้องการสร้าง ระบบ ML เรื่องนี้ยังเกี่ยวข้องมาก OpenAI ครองพื้นที่สื่อเยอะก็จริง แต่ในความเป็นจริงมีทีมจำนวนมากที่กำลังสร้างสิ่งที่มีประโยชน์และน่าสนใจ
    • จากมุมมองการประยุกต์ใช้ การเข้าใจว่า กระบวนการ ML ทั้งหมดทำงานอย่างไร แนวคิดหลักคืออะไร และส่วนประกอบต่าง ๆ ประสานกันอย่างไร สำคัญกว่า
      ดีปเลิร์นนิงเป็นเพียงส่วนหนึ่ง หลายส่วนถูกห่อไว้ด้วยไลบรารีและ API แล้ว งานจึงกลายเป็นการเตรียมข้อมูลที่ถูกต้อง เรียก API ที่เหมาะสม แล้วนำผลลัพธ์ไปใช้
    • ตลาดบริการ AI คงมีใครสักรายครอง แต่แอปพลิเคชัน edge AI ขนาดเล็ก มีมากเกินไปจนผู้ให้บริการรายเดียวครอบครองทั้งหมดไม่ได้
      ตัวอย่างเช่น OpenAI คงไม่สนใจพัฒนาโครงข่ายประสาทแบบ embedded ขนาดเล็กบนชิปเซ็นเซอร์ที่ตรวจจับโมเลกุลเฉพาะในอากาศแบบเรียลไทม์

  • หนังสือเล่มนี้น่าประทับใจ มีบทที่ว่าด้วยหัวข้อที่ผมชอบคือ ประสิทธิผลอย่างไร้เหตุผลของดีปเลิร์นนิง ด้วย ยังมีหนังสือเล่มไหนที่น่าจับตาอีกไหม?

    • งานนำเสนอของ DeepMind นี้สรุปหนังสือ ML พื้นฐานไว้ให้: https://drive.google.com/file/d/1lPePNMGMEKoaDvxiftc8hcy-rFp...
      คนใจร้อนดูสไลด์ที่ 123 ได้เลย คำแนะนำหลักคือ Murphy, Gelman, Barber, Deisenroth
      ต้องคำนึงด้วยว่าสไลด์เหล่านี้มี อคติแบบเบย์เซียน อยู่บ้าง ถึงอย่างนั้น Murphy ก็เป็นหนังสือดีปเลิร์นนิงที่ยอดเยี่ยม และการเข้าไปสู่ดีปเลิร์นนิงผ่านโมเดลเชิงเส้นทั่วไปก็เป็นวิธีที่ดีเช่นกัน
    • น่าประทับใจจริง ๆ และดูมีศักยภาพที่จะกลายเป็นตำราเรียนหลักของหัวข้อนี้
      ข้อเท็จจริงที่น่าสนใจคือ เปเปอร์ Attention อันโด่งดังใกล้จะมีการอ้างอิงถึง 10,000 ครั้งแล้ว และน่าจะถึงภายในปลายปีนี้ อาจเป็นเปเปอร์ที่ไปถึงหลักไมล์สำคัญนี้ได้เร็วที่สุด
      หนังสือดีปเลิร์นนิงที่เขียนก่อนเปเปอร์ Attention ควรถูกมองว่าล้าสมัยและต้องอัปเดต คล้ายกับตำราฟิสิกส์เก่าที่มีกฎของนิวตัน แต่ขาดสมการสมมูลพลังงานของไอน์สไตน์
    • https://news.ycombinator.com/item?id=38425368

  • ถ้าเริ่มตอนนี้แล้วอ่านและศึกษา AI จะไปถึงระดับ ใกล้เคียงผู้เชี่ยวชาญ ได้ไหม?
    กังวลอยู่ว่านี่จะเป็นเส้นทางที่ต้องมีปริญญาโทหรือเอกหรือเปล่า

    • ถ้าอ่านหนังสือเล่มนี้ จะปูทฤษฎีพื้นฐานได้ดีมาก และจะเข้าใจลึกกว่าวิศวกร ML จำนวนมาก
      อย่างไรก็ตาม อาจขาด บทเรียนเชิงปฏิบัติ อย่างทิปเล็ก ๆ และสัญชาตญาณที่จำเป็นในการทำให้ระบบจริงทำงานได้ เรื่องนี้ต้องใช้เวลา และผมมองว่ามันเป็นทั้งศิลปะพอ ๆ กับวิทยาศาสตร์
    • ในโลกที่ข้อมูลให้เรียนรู้เพิ่มขึ้นเรื่อย ๆ หมุดหมายเดียวที่ใช้ได้คือการถามตัวเองว่า “สนุกกับการเรียนสิ่งนี้ไหม?”
      คำถามอย่าง “จะเป็นผู้เชี่ยวชาญได้ไหม?” คลุมเครือเกินไป จึงยากจะเป็นหมุดหมายที่ดี
    • ถ้าไม่รู้เป้าหมายก็ยากมากที่จะตอบ ขึ้นอยู่กับว่าอยากเป็น ผู้ปฏิบัติงานด้านดีปเลิร์นนิง หรืออยากเป็นนักวิจัย
    • น่าจะมีโอกาสสูงที่จะไม่ได้เป็นผู้เชี่ยวชาญ แต่ก็ไม่ค่อยแน่ใจว่าทำไมถึงอยากเป็นผู้เชี่ยวชาญ

  • ผมทำงานกับ แพลตฟอร์มแมชชีนเลิร์นนิง หลายตัวในบริษัทเทคโนโลยีชื่อดังมา 10 ปี แต่ทุกอย่างที่ผมทำล้วนล้าสมัยค่อนข้างเร็ว
    ตั้งแต่อัลกอริทึม ML ไปจนถึงแพลตฟอร์มคำนวณ ทุกอย่างมีอายุสั้นมาก พอบวกกับข้อเท็จจริงที่ว่านวัตกรรม ML ส่วนใหญ่ถูกสร้างโดยบริษัทระดับหัวกะทิเพียงไม่กี่แห่ง การเรียนรู้เนื้อหาเหล่านี้มาก ๆ จึงรู้สึกเหมือนเป็นความขัดแย้งในตัวเอง

    • แพลตฟอร์มแมชชีนเลิร์นนิงจะล้าสมัย
      แต่ อัลกอริทึมและไอเดียของแมชชีนเลิร์นนิง ไม่เป็นแบบนั้น ถ้าเรียน SVN หรือ Naive Bayes แล้วไม่ได้อะไรที่มีประโยชน์ในปัจจุบันเลย แปลว่าจริง ๆ แล้วไม่ได้เรียนรู้อะไรเลย
    • เทคนิคจำนวนไม่น้อยของดีปเลิร์นนิงได้ผ่าน บทพิสูจน์ของเวลา มาแล้ว เทคนิคใหม่ ๆ ก็พึ่งพาเทคนิคเก่าหรือพัฒนาขึ้นเพื่อแก้ข้อบกพร่องของมัน
      ตัวอย่างเช่น Transformer ถูกพัฒนาขึ้นเพื่อแก้ปัญหา vanishing gradient ของ LSTM ในลำดับยาว ๆ และเพื่อปรับปรุงปัญหาที่ LSTM มีลักษณะเป็นลำดับโดยเนื้อแท้ตามมิติเวลา ทำให้ใช้ GPU ได้ไม่เต็มที่
    • ไม่เห็นด้วยอย่างแรง ถ้าล้าสมัย แปลว่าอาจไล่ตามแต่กระแสล่าสุดมากกว่า
      พื้นฐานไม่ได้เปลี่ยนไปมากนัก สาขานี้มีหลายกระแส และมีอัลกอริทึมจำนวนมากที่อยู่ได้นานและถูกใช้งานจริง แน่นอนว่าถ้าต้องการก็อัปเกรดบางส่วนได้ แต่ถ้าไล่ตามกระต่ายขาวไม่รู้จบ สิ่งที่เหลือในมือก็มีแค่ปุยนุ่น
    • มีน้อยมากในเทคโนโลยีที่คงเดิม ควรมองเทคโนโลยีว่าเป็น วิวัฒนาการ อีกรูปแบบหนึ่ง
      โดยส่วนตัวผมมองว่าแรงแบบเดียวกับวิวัฒนาการขับเคลื่อนเทคโนโลยีอยู่ เหมือนว่า Linus Torvalds ก็เคยพูดว่า Linux วิวัฒน์ผ่านการคัดเลือกโดยธรรมชาติ
    • งั้นควรเรียน ความรู้พื้นฐาน อะไรบ้าง? ใน ML ก็น่าจะมีหลักการทั่วไปที่ยังใช้ได้ต่อไปแม้เวลาจะผ่านไปไม่ใช่หรือ?

  • หนังสือแบบนี้ตัดสินได้ยากมาก ต้องดูจากสารบัญอย่างเดียวหรือ?
    อยากรู้ว่าผู้เขียนเป็นใคร มีงานเขียนอื่นที่ได้รับการยกย่องไหม มีรีวิวดี ๆ จากคนที่รู้เนื้อหาหรือเปล่า หรือมีรีวิวดี ๆ จากนักศึกษาที่ไม่รู้อะไรเลยหรือเปล่า

    • ผมแนะนำผู้เขียนได้อย่างหนักแน่น หนังสือเล่มก่อนหน้า Computer Vision: Models, Learning, and Inference อ่านง่าย เข้าหาหัวข้อจากมุมมองที่ไม่ตามขนบ และมีภาพประกอบยอดเยี่ยมจำนวนมากที่ช่วยเสริมข้อความ
      หนังสือเล่มนี้ผมตั้งใจจะซื้อแบบเล่มกระดาษ
    • ค้นหาก็ตรวจสอบได้
      แม้จะถามว่าตัดสินจากสารบัญอย่างเดียวหรือเปล่า แต่ในไซต์ที่ลิงก์ไว้สามารถดาวน์โหลดฉบับร่างบทที่ 1–21 กว่า 500 หน้าได้
      ผู้เขียน Simon J. D. Prince เป็นศาสตราจารย์กิตติคุณด้านวิทยาการคอมพิวเตอร์ที่ University of Bath และเป็นผู้เขียน Computer Vision: Models, Learning and Inference เขาเป็นนักวิทยาศาสตร์วิจัยที่เชี่ยวชาญด้าน AI และดีปเลิร์นนิง และเคยนำทีมวิทยาศาสตร์วิจัยทั้งในแวดวงวิชาการและอุตสาหกรรม เช่น Anthropics Technologies Ltd, Borealis AI
      สิ่งพิมพ์อื่นที่ได้รับการยกย่อง ได้แก่ เปเปอร์ผ่านการทบทวนโดยผู้ทรงคุณวุฒิมากกว่า 50 ฉบับในงานประชุมระดับท็อปอย่าง CVPR, ICCV, SIGGRAPH: https://scholar.google.com/citations?user=fjm67xYAAAAJ&hl=en
      ส่วนเรื่องรีวิว หนังสือเล่มนี้ยังไม่ได้ตีพิมพ์ และสิ่งที่กำลังดูอยู่นี้คือฉบับร่างฟรีอย่างแท้จริง บน Amazon เปิดให้พรีออร์เดอร์ที่ราคา 85 ดอลลาร์
    • PDF ฉบับเต็มมีให้ ดาวน์โหลดฟรี จากหน้านั้น เป็นลิงก์แรกด้านบนสุด
      https://github.com/udlbook/udlbook/releases/download/v1.16/U...
    • Marcus Hutter เขียนไว้ใน [Marcus' AI Recommendation Page] ว่า “Prince(2023) เป็นตำราเรียนดีปเลิร์นนิงที่ดีเพียงเล่มเดียว”

  • หวังว่านี่จะไม่ใช่คำถามโง่ ๆ นะ แต่จะซื้อ หนังสือเล่มกระดาษ ได้อย่างไร?

  • ในภาพจาก PDF ดูเหมือนว่า Why does deep learning work จะชี้ไปที่ Deep learning and ethics และในทางกลับกันก็เช่นกัน

  • จากมุมมองของคนที่อ่าน Deep Learning ของ Ian Goodfellow ครั้งสุดท้ายเมื่อปี 2016 เป็นเรื่องน่าสนใจที่ไม่มี บท RNN แต่มีบท Transformer

    • RNN ถือว่าแพ้ ลอตเตอรี่ฮาร์ดแวร์ เพราะโดยโครงสร้างแล้วไม่มีประสิทธิภาพสำหรับการเทรนบนฮาร์ดแวร์ที่คุ้มค่าต้นทุนซึ่งหาได้ในปัจจุบัน
      ดังนั้นตอนนี้จึงไม่ค่อยถูกใช้งานมากนัก อย่างไรก็ตาม โดยส่วนตัวแล้วผมคิดว่าในเชิงแนวคิดมันน่าสนใจพอที่จะนำมาพูดถึงในคอร์สแบบนี้