หนังสือ Deep Learning ที่อิงฟิสิกส์

• Physics-based Deep Learning Book v0.3 เป็นหนังสือดิจิทัลที่ครอบคลุมทั้งการจำลองทางฟิสิกส์และ Deep Learning โดยช่วยให้เรียนรู้วิธีผสานการวิเคราะห์เชิงตัวเลขกับโครงข่ายประสาทผ่านตัวอย่างที่รันได้
• ใน GenAI edition มีสัดส่วนของการทำ Generative Modeling เพิ่มขึ้น และครอบคลุม denoising, flow-matching, autoregressive learning, ข้อจำกัดที่ผสานฟิสิกส์ และ graph network แบบ diffusion
• ขอบเขตการเรียนรู้เริ่มจาก supervised learning แล้วขยายไปถึง ข้อจำกัดของ loss ทางฟิสิกส์, การจำลองที่ทำ differentiation ได้, แนวทาง diffusion, reinforcement learning และการเลือกสถาปัตยกรรมโครงข่ายประสาท
• บทที่ประกาศไว้ล่วงหน้าครอบคลุมกรณีที่ใกล้เคียงปัญหาฟิสิกส์จริง เช่น การทำนายการไหลรอบ airfoil, การเรียนรู้จาก residual ของสมการ, inverse problem และวิธีใส่ simulator เข้าไปใน learning loop
• ตัวอย่างโค้ดทั้งหมดเน้น Jupyter Notebook ที่รันและแก้ไขได้ในเบราว์เซอร์ จึงไม่ได้หยุดแค่อ่านแนวคิด แต่สามารถทดลองได้ทันที

---

คู่มือเรียน Deep Learning สำหรับการจำลองทางฟิสิกส์

• Physics-based Deep Learning Book เป็น คู่มือปฏิบัติแบบครบถ้วน ที่ครอบคลุม Deep Learning ในขอบเขตของการจำลองทางฟิสิกส์
• เอกสารนี้เชื่อมคำอธิบายเชิงทฤษฎีกับ Jupyter Notebook แบบโต้ตอบได้ เพื่อให้รันและตรวจสอบแต่ละแนวคิดได้ทันที
• หัวข้อหลักที่ครอบคลุมมีดังนี้
  • supervised learning แบบดั้งเดิม
  • loss-constraints ทางฟิสิกส์
  • การจำลองที่ทำ differentiation ได้
  • แนวทางที่อิง diffusion สำหรับ Generative AI เชิงความน่าจะเป็น
  • reinforcement learning
  • สถาปัตยกรรมโครงข่ายประสาทขั้นสูง
• จุดเพิ่มเติมสำคัญของ GenAI edition เวอร์ชัน v0.3 คือบทด้าน generative modeling
  • denoising
  • flow-matching
  • autoregressive learning
  • physics-integrated constraints
  • diffusion-based graph networks
• ยังมีการเพิ่มส่วนเฉพาะสำหรับ neural architectures ที่ออกแบบมาสำหรับการจำลองทางฟิสิกส์ และอัปเดตตัวอย่างโค้ดทั้งหมดให้ใช้เฟรมเวิร์กล่าสุด

บทที่ประกาศไว้และรูปแบบการฝึกปฏิบัติ

• บทต่อ ๆ ไปจะครอบคลุมวิธีใช้ diffusion modeling เพื่อทำนายการไหลของของไหลรอบ airfoil
  • วิธีนี้ให้ surrogate model เชิงความน่าจะเป็นที่ใช้แทนและเหนือกว่า simulator เดิมได้
• ยังรวมถึงวิธีฝึกให้เครือข่ายแทนคำตอบโดยใช้สมการของโมเดลเป็น residual
  • ข้อจำกัดแบบ residual สามารถปรับปรุงได้ด้วยการใช้การจำลองที่ทำ differentiation ได้
• ครอบคลุมวิธีโต้ตอบกับ simulator ทั้งชุดอย่างใกล้ชิดมากขึ้นเพื่อแก้ inverse problem
  • แสดงตัวอย่างการหลีกเลี่ยงปัญหา convergence ของเทคนิค reinforcement learning มาตรฐาน ด้วยวิธีใส่ simulator เข้าไปใน learning loop
• การเลือกสถาปัตยกรรมเครือข่ายที่เหมาะสมก็เป็นหัวข้อหลักเช่นกัน
  • global interaction และ local interaction
  • continuous representation และ discrete representation
  • structured graph mesh และ unstructured graph mesh
• แนวทาง PBDL ถูกนำเสนอเรียงตามระดับความเข้มข้นในการผสานโมเดลฟิสิกส์เข้ากับ Deep Learning ที่เพิ่มขึ้นเรื่อย ๆ
  • ครอบคลุมทั้งข้อดีข้อเสียและสถานการณ์ที่เหมาะสมของแต่ละแนวทาง
• ตัวอย่างโค้ดเน้น Jupyter Notebook ที่รันได้ทันทีในเบราว์เซอร์
  • สามารถรันและแก้ไขตัวอย่างได้ใน Google Colab teaser notebook
• หนังสือนี้ดูแลโดย Physics-based Simulation Group ของ TUM และยังมีชุดลิงก์ที่รวบรวมงานวิจัยล่าสุดไว้ให้ด้วย

[GN⁺]

ความคิดเห็นบน Hacker News

• ในการนำเสนอภาพรวมแบบเข้มข้นเมื่อเดือนตุลาคม 2022 Chris Rackauckas ได้แนะนำ Scientific Machine Learning พร้อมตัวอย่างจากหลากหลายสาขา เช่น โรคระบาด คลื่นความโน้มถ่วง เภสัชสถิติ และการจำลองมหาสมุทร
  ยังครอบคลุมไลบรารี Julia สำหรับ SciML ทั้งแบบโอเพนซอร์สและเชิงพาณิชย์ด้วย จึงมีข้อมูลเยอะมาก
  https://www.youtube.com/watch?v=yHiyJQdWBY8

  • สงสัยว่ามีใครรู้บ้างว่าตลาดงานสำหรับตำแหน่งอย่าง “วิศวกร ML ด้านการจำลองทางฟิสิกส์” เป็นอย่างไร

• ดูเหมือนว่าควรเปลี่ยนชื่อเรื่องให้ชัดกว่านี้ นี่ไม่ใช่หนังสือเกี่ยวกับ ดีปเลิร์นนิงที่อิงฟิสิกส์
  น่าจะเป็นหนังสือที่พูดถึงแนวทางดีปเลิร์นนิงสำหรับปัญหาทางฟิสิกส์ที่กลุ่มวิจัยนี้พัฒนาขึ้นมากกว่า และคิดว่านั่นเป็นเบาะแสที่สำคัญมาก
  อีกทั้งโดยสาระแล้วมันถูกใช้เพื่อผลักดันเฟรมเวิร์กจำลองสถานการณ์ Phi-Flow ของพวกเขาอย่างมาก จึงเรียกได้ยากว่าเป็นหนังสือที่อธิบายทั้งสาขาได้อย่างถูกต้อง

• Chris ทำผลงานดี ๆ ในแนวนี้มาโดยตลอด และ แพ็กเกจสมการเชิงอนุพันธ์ของ Julia ที่รองรับฟิสิกส์หรือ Scientific ML ก็ค่อนข้างยอดเยี่ยม
  https://www.stochasticlifestyle.com/the-essential-tools-of-s...

• หาวิธีดาวน์โหลดทั้งเล่มเป็น PDF ไม่เจอ ปุ่มดาวน์โหลดด้านบนดูเหมือนจะดาวน์โหลดได้แค่แต่ละหน้า
  เท่าที่รู้ทำด้วย Jupyter Book แต่ในเอกสารก็ไม่พบข้อมูลที่เกี่ยวข้อง
  [1] https://jupyterbook.org/en/stable/intro.html

  • ดูได้ที่ https://github.com/tum-pbs/pbdl-book/issues/1

• แหล่งข้อมูลเพิ่มเติม ที่ดีมีการบรรยายคณิตศาสตร์+ML บน YouTube ของ CRUNCH group, เพลย์ลิสต์ Physics Informed Machine Learning ของ Steve Brunton, หนังสือ “Data Driven Science and Engineering” ของ Steve Brunton และ Deep Learning in Scientific Computation ของ ETH Zurich
  YouTube ของ CRUNCH group: https://m.youtube.com/channel/UC2ZZB80udkRvWQ4N3a8DOKQ
  เพลย์ลิสต์ของ Steve Brunton: https://m.youtube.com/playlist?list=PLMrJAkhIeNNQ0BaKuBKY43k...
  บรรยายของ ETH Zurich: https://m.youtube.com/playlist?list=PLJkYEExhe7rYY5HjpIJbgo-...

• ยังมี การอภิปรายก่อนหน้า เมื่อปี 2021 ด้วย
  https://news.ycombinator.com/item?id=28500577