- หนังสือ "Understanding Machine Learning" ที่เขียนโดย Shai Shalev-Shwartz และ Shai Ben-David ตีพิมพ์โดย Cambridge University Press ในปี 2014
- กล่าวถึงพื้นฐานเชิงทฤษฎีและอัลกอริทึมของแมชชีนเลิร์นนิง
- มีการเผยแพร่ PDF ของต้นฉบับโดยได้รับอนุญาตจาก Cambridge University Press และสามารถดาวน์โหลดได้เพื่อการใช้งานส่วนบุคคลเท่านั้น
- ไม่ใช่สำหรับการแจกจ่ายต่อ
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
หากต้องการเข้าใจแมชชีนเลิร์นนิงแบบง่าย ๆ ขอแนะนำ The StatQuest Illustrated Guide to Machine Learning ของ Josh Starmer: https://www.goodreads.com/book/show/75622146-the-statquest-i...
จนถึงตอนนี้ยังไม่เคยเห็นครูคนไหนอธิบายแนวคิดที่ซับซ้อนได้ชัดเจนและกระชับเท่า Starmer มาก่อน และรูปแบบก็แทบจะเหมือนหนังสือเด็ก จึงอ่านและทำความเข้าใจได้ง่าย
เขาเพิ่งออกหนังสือเกี่ยวกับ neural networks ด้วย ซึ่งก็ดีเช่นกัน และขอแนะนำอย่างยิ่ง เพราะแม้คุณจะเป็นผู้เชี่ยวชาญอยู่แล้ว ก็ยังได้วิธีดี ๆ ในการสอนและถ่ายทอดแนวคิดซับซ้อนของแมชชีนเลิร์นนิง
ตอนเรียนสถิติที่มหาวิทยาลัย ผมใช้เป็นสื่อเสริมเยอะมาก
แต่คงแนะนำได้ยากถ้าต้องการใช้เป็นวิธีเรียนแมชชีนเลิร์นนิงให้ เกินระดับผิวเผิน และยังรู้สึกว่าค่อนข้างเก่าเล็กน้อย
ผมยังไม่ได้อ่าน แต่หนังสือ neural networks อาจช่วยเติมเต็มส่วนนี้ได้
และก็สงสัยด้วยว่าสมเหตุสมผลไหมที่จะมองว่า หากมาจากพื้นฐานวิศวกรซอฟต์แวร์สายเว็บ/พัฒนา แล้วขุดอ่านหนังสือที่แนะนำไว้ที่นี่อย่างจริงจัง จะสามารถเข้าสู่บทบาทด้านแมชชีนเลิร์นนิง/AI ได้
งานของผมคือใช้แมชชีนเลิร์นนิงในการวิเคราะห์เศรษฐมิติ แต่นักเศรษฐศาสตร์ส่วนใหญ่ไม่เข้าใจแมชชีนเลิร์นนิงในเชิงสัญชาตญาณ
หากต้องการเข้าใจพื้นฐานของแมชชีนเลิร์นนิง Probability for computer scientists ของ Stanford เป็นแหล่งข้อมูลที่ยอดเยี่ยม: https://www.youtube.com/watch?v=2MuDZIAzBMY&list=PLoROMvodv4...
วิธีที่คอร์สนี้ครอบคลุมทฤษฎีความน่าจะเป็นและรากฐานเชิงทฤษฎีของแมชชีนเลิร์นนิงดีกว่าคอร์สไหน ๆ ที่ผมเคยเห็น แต่โดยพื้นฐานแล้วมันค่อนข้างเป็นคอร์สความน่าจะเป็นที่แตะพื้นฐานแมชชีนเลิร์นนิง
คอร์สของ Andrew Ng ก็เป็นตำนานเช่นกัน แต่ต้องมีความคุ้นเคยทางคณิตศาสตร์ด้านพีชคณิตเชิงเส้นอยู่พอสมควร
สามารถดาวน์โหลด PDF โน้ตการสอน CS109 ได้ด้วย: https://chrispiech.github.io/probabilityForComputerScientist...
หากต้องการความเข้าใจเชิงทฤษฎีในหัวข้อแมชชีนเลิร์นนิง Learning From Data ของ Caltech ก็ดีเช่นกัน: https://work.caltech.edu/telecourse
คอร์ส Caltech นี้มีหนังสือด้วย: https://www.amazon.com/Learning-Data-Yaser-S-Abu-Mostafa/dp/...
หากต้องการเข้าใจวิธีสร้าง neural networks ตั้งแต่พื้นฐาน Neural Networks: Zero to Hero ก็ดี: https://www.youtube.com/watch?v=VMj-3S1tku0&list=PLAqhIrjkxb...
https://bloomberg.github.io/foml/#home ส่วนตัวแล้วผมชอบคอร์สนี้ที่สุด
หากเป้าหมายคือเรียน AI เชิงสร้างสรรค์ รุ่นใหม่ ๆ ขอแนะนำ https://udlbook.github.io/udlbook/ แทน
เมื่อหลายปีก่อนผมเคยอ่านไปบางส่วน เท่าที่จำได้ มันเป็นเชิงทฤษฎีมากและมีทฤษฎีการเรียนรู้เชิงสถิติเยอะ ส่วนที่พูดถึง การลดความเสี่ยงเชิงโครงสร้าง ของ Vapnik นั้น โดยส่วนตัวผมมองว่าผิด
หนังสือเอนเอียงไปทางทฤษฎีอย่างมาก และแทบไม่มีการประยุกต์ใช้จริง อีกทั้งเป็นหนังสือปี 2014 ซึ่งในวงการ AI ก็เหมือนอดีตชาติไปแล้ว ดังนั้นเนื้อหาเชิงประยุกต์ตอนนี้ก็น่าจะล้าสมัยไปหมดแล้ว
ผมไม่คิดว่าวันนี้จะมีคนจำนวนมากอยากอ่านหนังสือเล่มนี้
เท่าที่ผมรู้ ทฤษฎีทางคณิตศาสตร์อย่างทฤษฎีการเรียนรู้เชิงสถิติไม่ได้ช่วยอะไรมากกับการประดิษฐ์ทรานส์ฟอร์เมอร์ และก็ไม่ได้มีประโยชน์ในการอธิบายว่าทำไมโครงข่ายประสาทจึงไม่ overfit แม้จะมี VC dimension สูง
ชื่อเรื่อง “จากทฤษฎีสู่แมชชีนเลิร์นนิง” สะท้อนปัญหาของ แนวทางที่ให้ทฤษฎีมาก่อน นี้ได้ดี
คนที่สนใจคณิตศาสตร์แต่ไม่สนใจวิศวกรรมซอฟต์แวร์เข้ามาในแมชชีนเลิร์นนิงแล้วสร้างทฤษฎีการเรียนรู้เชิงนามธรรมอย่างทฤษฎีการเรียนรู้เชิงสถิติขึ้นมา แต่สิ่งเหล่านั้นห่างไกลจากสิ่งที่ทำได้จริง
ในทางกลับกัน วิศวกรกลับไม่สนใจทฤษฎีเหล่านั้น ลงมือคลุกฝุ่นกับการ implement โครงข่ายประสาทจริงและพยายามปรับปรุงประสิทธิภาพ ผลลัพธ์จึงออกมาเป็นสิ่งอย่างโครงข่ายประสาทแบบคอนโวลูชัน และต่อมาก็ทรานส์ฟอร์เมอร์
ผมจำได้ว่า Vapnik เคยบ่นในคำนำหนังสือของเขา ราวกับว่ากระแสที่เมินทฤษฎีคณิตศาสตร์อันงดงามและมุ่งแต่ภาคปฏิบัตินั้นเป็นพวกสุดโต่ง
แต่ตอนนี้ผมมองว่าชัดเจนแล้วว่าทฤษฎีเหล่านั้นอ่อนแอเกินกว่าจะอธิบายความซับซ้อนของแนวทางที่ทำงานได้ดีจริง และแมชชีนเลิร์นนิงก็เผยให้เห็นว่าเป็น สาขาหนึ่งของวิศวกรรม ไม่ใช่คณิตศาสตร์หรือวิทยาการคอมพิวเตอร์เชิงทฤษฎี
ชื่อหนังสือเล่มนี้มีความหวังที่ผิดอยู่ในนั้นว่า ผู้คนจะเรียนทฤษฎีการเรียนรู้เชิงนามธรรมก่อน แล้วได้รับแรงบันดาลใจจนสร้างอัลกอริทึมใหม่ได้ในไม่ช้า
ทฤษฎีการเรียนรู้เชิงสถิติทำได้แค่พอจะโมเดล supervised learning เท่านั้น ยังไม่ต้องพูดถึง reinforcement learning หรือ self-supervised learning
มันยังอธิบายไม่ได้ด้วยซ้ำว่าทำไมโครงข่ายประสาทถึงทนต่อการ overfit ได้ดี และทฤษฎีชวนฝันอย่างทฤษฎีการเรียนรู้เชิงคำนวณ/อัลกอริทึม, Solomonoff induction, Kolmogorov complexity ก็ยิ่งห่างไกลจากความเป็นจริงเข้าไปอีก
ผมเข้าใจว่าบางแง่มุมนั้นน่าทึ่ง และถ้าขนาดกับความหลากหลายของชุดข้อมูลเหมาะสม กฎการสเกลก็มักใช้ได้
แต่จากประสบการณ์ที่เคยฝึกด้วยชุดข้อมูลจริงตั้งแต่ต้น ไม่ใช่การ fine-tune โมเดลที่ pretrain มาแล้ว ถ้าข้อมูลมีไม่มากพอ โครงข่ายประสาทสามารถ overfit ได้อย่างชัดเจน
สัญชาตญาณของผมคือทฤษฎีเดิม ๆ น่าจะไม่ได้พิสูจน์ว่าเป็นจริงภายใต้เงื่อนไขบางอย่าง เช่นคุณลักษณะเฉพาะของชุดข้อมูลบางประเภท แต่ทุกวันนี้ดูเหมือนจะมีการสมมติโดยนัยว่าชุดข้อมูลมีขนาดมหึมา แล้วละเงื่อนไขเหล่านั้นไป
ในความเป็นจริงของปัญหาเฉพาะทางในบริษัทที่ไม่ใช่ FAANG หรือชุดข้อมูลที่เปิดเผยแต่ใช้เชิงพาณิชย์ไม่ได้ เรื่องนี้ยังเป็นปัญหาจริงอยู่
ไม่ใช่ทุกปัญหาจะแก้ได้ด้วย foundation model หรือ frontier model
ถ้ามีบทความวิจัยที่เกี่ยวข้องช่วยแนะนำด้วยก็ดี และผมยังอยู่ระหว่างเรียนรู้
คล้ายกับฟิสิกส์ ถ้าจะเข้าใจสิ่งอย่างกลศาสตร์ควอนตัมก็ต้องมีทฤษฎีคณิตศาสตร์ ไม่อย่างนั้นอาจไม่สมเหตุสมผล
ผมสงสัยว่าการเข้าใจแนวคิดแมชชีนเลิร์นนิงอย่างลึกซึ้งมีประโยชน์เชิงปฏิบัติสำหรับวิศวกรซอฟต์แวร์ที่ไม่ได้ทำวิจัยหรือไม่
ผมไม่มีแผนจะไปสายวิจัย เลยกำลังชั่งน้ำหนักว่าควรโฟกัสการเรียนรู้ตรงไหนเพื่ออาชีพ
คร่าว ๆ แล้วดูเหมือนบริษัทต่าง ๆ มีความต้องการด้านการ implement AI/ML แต่ยกเว้นบางส่วนของการดีบักแล้ว การพัฒนาโมเดลตั้งแต่ต้นมีคุณค่าจริงหรือ?
สำหรับธุรกิจทั่วไป การปรับ โมเดลสำเร็จรูป ให้เข้ากับ use case เฉพาะเล็กน้อยก็น่าจะเพียงพอในเกือบทุกกรณีหรือเปล่า ผมก็สงสัยอยู่
หนังสือเล่มนี้เป็นตำราเบื้องต้นด้านทฤษฎีแมชชีนเลิร์นนิง โดยเฉพาะ ทฤษฎีการเรียนรู้เชิงสถิติ ที่ผมชอบที่สุด และเข้าถึงได้ง่ายกว่าหนังสือเล่มอื่นมาก
เป็นหนังสือปี 2014 แล้วยังเกี่ยวข้องจริง ๆ หรือ?
หนังสืออายุ 10 ปีแล้ว ไม่ล้าสมัยหรือ?
อัปเดตเรื่อง bias/variance dilemma ก็ไม่ได้เปลี่ยนมากนักถ้าดูบทความต้นฉบับของ Geman ปี 1992: https://www.dam.brown.edu/people/documents/bias-variance.pdf
ในตอนนั้นเขาจัดการกับชุดข้อมูลขนาดเล็กหรือชุดข้อมูลอนันต์ และ double descent จะทำงานได้ถูกต้องก็ต่อเมื่อแพตเทิร์นในชุดทดสอบคล้ายกับแพตเทิร์นในชุดฝึกมากพอ
มุมมองเก่าบางส่วนต้องระวัง แต่ แนวคิดพื้นฐาน ยังเหมือนเดิม
แม้ในการ fine-tuning หรือ reinforcement learning ปัญหาชุดข้อมูลขนาดเล็ก/ชุดข้อมูลอนันต์ที่ concept class ของข้อมูลฝึกอาจเป็นของใหม่ก็ยังใช้บทความปี 1992 ได้อยู่ และถ้าสมมติว่ามันใช้ไม่ได้โดยทั่วไป ก็จะกลายเป็นสิ่งที่ถ่วงเราไว้
แนวคิดพื้นฐานส่วนใหญ่มาจากช่วงกลางศตวรรษที่ 20
ความพร้อมของข้อมูลปริมาณมหาศาลและการค้นพบใหม่ ๆ ไม่ได้ทำให้งานวิจัยก่อนหน้าเป็นโมฆะเท่าไรนัก แต่เปลี่ยนสมมติฐานและเครื่องมือไปอย่างมาก
ถ้าลองอ่านผ่าน ๆ บทความนั้นจะเห็นว่า ข้อมูลและการคำนวณขนาดใหญ่ที่เรามีในปัจจุบันถูกตัดทิ้งไปง่าย ๆ ว่าไม่สมจริงในยุคนั้น
ควรหาหนังสือที่เข้ากับตัวเอง เรียนรู้แนวคิด และสั่งสมความรู้แบบ tacit knowledge
มีความพยายามจำนวนมากที่พยายามผสานวิธีเชิงสัญลักษณ์และวิธีอื่น ๆ เข้าด้วยกันด้วย
ผมมองว่าการสร้างทั้งความกว้างและความลึกไปพร้อมกันช่วยประหยัดเวลาและช่วยหาโอกาสได้ และความรู้พื้นฐานเป็นสิ่งสำคัญอย่างยิ่งสำหรับเรื่องนั้น
พื้นฐานของแมชชีนเลิร์นนิงอย่างการฝึก/ตรวจสอบ, variance/bias ยังเหมือนเดิม และอัลกอริทึมคลาสสิกก็ยังมีที่ทางอยู่
พัฒนาการล่าสุดที่อาจไม่มีอยู่ในเล่มก็น่าจะประมาณฟอเรสต์แบบ XGBoost
แค่สามเล่มนี้ก็พอ ตั้งแต่พื้นฐานมาก ๆ ไปจนถึงหัวข้อขั้นสูง แทบไม่จำเป็นต้องมีอย่างอื่นเลยจริง ๆ
ถ้าแค่อยากรู้เกี่ยวกับแมชชีนเลิร์นนิง ข้อมูลในนั้นแทบไม่น่าจะผิด
แต่ต่างจากหนังสือเคมีอายุ 11 ปี เช่น มันไม่ได้เชื่อมโยงกับปัญหาที่น่าสนใจที่สุดซึ่งวิศวกรในปัจจุบันกำลังต่อสู้อยู่เท่าไร
ดังนั้นสำหรับเตรียมสัมภาษณ์หรือเข้าสู่อุตสาหกรรม ผมคิดว่ามันคงไม่ใช่สิ่งที่มีประโยชน์ที่สุด
เพราะมันเน้นไปที่ทฤษฎีคณิตศาสตร์เชิงนามธรรมที่คุณค่าน่าสงสัยเป็นหลัก ไม่ใช่ ดีปเลิร์นนิง ระดับล้ำสมัย
มีหนังสือแนะนำเล่มอื่นไหม?
เป็นหนังสือปูพื้นฐานฟรีและอ่านง่าย เขียนโดยนักวิจัยชื่อดัง ครอบคลุมเนื้อหาคลาสสิกอย่างกว้างขวาง และมีส่วน “Lab” พร้อมโค้ดอยู่มาก
มีบทเกี่ยวกับดีปเลิร์นนิงด้วย แต่ไม่ได้ครอบคลุมพัฒนาการล่าสุด ดังนั้นส่วนนั้นต้องหาแหล่งข้อมูลอื่นเพิ่มเติม
คำอธิบายแน่น และไม่ได้ให้ความรู้สึกเก่าเท่า AIMA