หนังสือแนะนำสำหรับเริ่มต้นในสาย AI โดยผู้ร่วมก่อตั้ง HuggingFace

• Thomas Wolf ผู้ร่วมก่อตั้งและ CSO จบด้านฟิสิกส์และนิติศาสตร์
• นี่คือรายการหนังสือที่เขาอ่านตอนเข้าสู่สาย NLP/AI/ML ในช่วงปี 2016~17
  • กล่าวคือ ควรทราบว่าเป็นช่วงก่อนการปฏิวัติของ ChatGPT/Transformer/Diffusion
• หนังสือ "Deep Learning(การเรียนรู้เชิงลึก)" เป็นแหล่งข้อมูลที่ดีสำหรับการทำความเข้าใจภาพรวมอย่างรวดเร็วของเครื่องมือในปัจจุบัน
• "Artificial Intelligence: A Modern Approach(ปัญญาประดิษฐ์: แนวทางสมัยใหม่ ฉบับที่ 4)" เป็นแหล่งข้อมูลชั้นยอดเกี่ยวกับเครื่องมือและวิธีการทั้งหมดก่อนยุคโครงข่ายประสาทเทียม
• "Machine Learning: A Probabilistic Perspective(แมชชีนเลิร์นนิง)" เป็นแหล่งข้อมูลยอดเยี่ยมสำหรับการเจาะลึกแนวทางเชิงความน่าจะเป็นและทำความคุ้นเคยกับเครื่องมือแบบเบย์esian
• "Information Theory, Inference and Learning Algorithms" เป็นเพชรเม็ดเล็กที่อธิบายความน่าจะเป็นและทฤษฎีสารสนเทศได้อย่างชัดเจนจนน่าทึ่ง
• "The Book of Why: The New Science of Cause and Effect" เป็นหนังสือแนะนำเรื่องความเป็นเหตุเป็นผลที่ดี
• "Reinforcement Learning: An Introduction(การเรียนรู้แบบเสริมแรงฉบับเข้มข้น)" เป็นแหล่งข้อมูลยอดเยี่ยมสำหรับการเริ่มต้นทำความเข้าใจ Reinforcement Learning
• มีแหล่งข้อมูลชั้นยอดเกี่ยวกับการประมวลผลภาษาธรรมชาติอยู่สามรายการที่น่าสนใจ
  • เลกเชอร์โน้ตของ Kyunghyun Cho สำหรับ "Natural Language Processing with Representation Learning" นั้นยอดเยี่ยม
  • หนังสือ "Neural Network Methods in Natural Language Processing" ของ Yoav Goldberg ก็ดีมาก
  • ตำรา "Natural Language Processing" ของ Jacob Eisenstein ก็เป็นงานอ่านที่ครอบคลุมมาก
• เขาเสริมสิ่งเหล่านี้ด้วยคอร์สออนไลน์บางรายการ
  • Computational Probability and Inference (6.008.1x) ของ edX
  • Probabilistic Graphical Models Specialization ของ Coursera
• หากคุณเข้ามาในสายนี้หลังการปฏิวัติของ Transformer และการฝึกขนาดใหญ่ คุณอาจอยากเลือกเส้นทางที่ต่างออกไป
  • คำแนะนำบางส่วนสำหรับปี 2024:
    • อ่านหนังสือของเราเกี่ยวกับ NLP และ Transformer คือ Natural Language Processing with Transformers แม้จะมาก่อน ChatGPT แต่ก็ยังเกี่ยวข้องมาก และช่วงท้ายยังครอบคลุมไปถึงการฝึก LLM
    • เรียนคอร์สออนไลน์ด้าน Deep Learning สักสองสามคอร์สจากคนดังในแวดวงนี้
    • คุณยังสามารถอ่านหนังสือบางเล่มจากรายการข้างต้นเพื่อเสริมความรู้รอบตัวได้ โดยเฉพาะ "Information Theory, Inference and Learning Algorithms" ที่เขายังคิดว่าเป็นเพชรเม็ดงาม
    • เข้าร่วม Hugging Face เพื่อเรียนรู้ผ่านการลงมือทำ :)

[ninebow]

ชื่อนี้ดูคุ้น ๆ เลยลองค้นดูก็พบว่าเคยเห็นวิดีโอเกี่ยวกับเทรนด์การพัฒนาโมเดล LLM ที่เผยแพร่ช่วงปลายเดือนมีนาคมนี่เองครับ/ค่ะ (ยังดูไม่จบทั้งหมดเลย T_T)

เป็นวิดีโอ YouTube ชื่อ 'A Little guide to building Large Language Models in 2024' ที่ครอบคลุมหลายด้าน ตั้งแต่การเตรียมข้อมูลสำหรับพัฒนา LLM ไปจนถึงวิธีการเทรน/ประเมินผล

• วิดีโอ: https://youtube.com/watch/…

• สไลด์: https://docs.google.com/presentation/d/…

• ⚠️โฆษณา⚠️ บทความสรุปที่จัดไว้: https://discuss.pytorch.kr/t/2024-llm/3890

[nuthatch]

<Deep Learning> - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://aladin.kr/p/OLwph

<Artificial Intelligence 1~2 - ชุด 2 เล่ม> - Stuart Russell, Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning การเรียนรู้ของเครื่อง> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie, Judea Pearl http://aladin.kr/p/cLywB

<Reinforcement Learning ที่แน่นหนา> - Richard Sutton, Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<หลักการประมวลผลภาษาธรรมชาติ> - Jacob Eisenstein http://aladin.kr/p/rPoLB

[ninebow]

ขอบคุณที่ช่วยสรุปให้ครับ!!
ผมได้นำรายการที่คุณรวบรวมไว้ไปเผยแพร่ต่อพร้อมกับโพสต์นี้ด้วย หากคุณไม่ต้องการ ผมจะลบออกให้ครับ 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2

[nottiger]

ขอบคุณนะคะ ฮือฮือ