MIT 6.S184: บทนำสู่ Flow Matching และ Diffusion Models

 (diffusion.csail.mit.edu)
3 คะแนน โดย GN⁺ 2025-03-04 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทนำสู่ Flow Matching และ Diffusion Models

  • วิชา 6.S184 ของ MIT เป็นคอร์สด้าน Generative AI ที่ใช้สมการเชิงอนุพันธ์สุ่ม
  • โมเดลแบบ diffusion และ flow-based ได้กลายเป็นเทคโนโลยีล้ำสมัยของ Generative AI สำหรับข้อมูลหลายโมดาลิตี เช่น ภาพ วิดีโอ และดนตรี
  • คอร์สนี้มีเป้าหมายเพื่อปูพื้นฐานทางคณิตศาสตร์ของโมเดลเหล่านี้ตั้งแต่ต้น และเมื่อเรียนจบ นักศึกษาจะได้สร้างโมเดล diffusion สำหรับภาพแบบของเล่นด้วยตนเอง
  • หลักสูตรนี้เหมาะอย่างยิ่งสำหรับนักศึกษาที่ต้องการเข้าใจทั้งทฤษฎีและภาคปฏิบัติของ Generative AI อย่างเป็นระบบ

เอกสารประกอบการบรรยาย

  • เอกสารประกอบการบรรยายเป็นแกนหลักของคอร์ส และให้คำอธิบายที่สมบูรณ์ในตัวสำหรับเนื้อหาทั้งหมด
  • สไลด์การบรรยายจัดไว้เป็นสื่อช่วยด้านภาพ และไม่ใช่เอกสารที่สมบูรณ์ในตัว

บทเรียน

  • บทที่ 1: โมเดล flow และ diffusion

    • บทนำสู่โมเดลเชิงกำเนิด
    • สมการเชิงอนุพันธ์ทั่วไปและสมการเชิงอนุพันธ์สุ่ม
    • การสุ่มตัวอย่างในโมเดล flow และ diffusion

  • บทที่ 2: การสร้างวัตถุประสงค์การฝึก

    • เส้นทางความน่าจะเป็นแบบมีเงื่อนไขและแบบมาร์จินัล
    • สมการความต่อเนื่องและสมการ Fokker-Planck
    • เวกเตอร์ฟิลด์แบบมาร์จินัลและฟังก์ชันคะแนนแบบมาร์จินัล

  • บทที่ 3: การฝึกโมเดล flow และ diffusion

    • Flow Matching
    • Score Matching
    • แนวทางต่าง ๆ ของ diffusion models

  • บทที่ 4: การสร้างตัวสร้างภาพ

    • การกำกับและการสร้างแบบมีเงื่อนไข
    • สถาปัตยกรรมโครงข่ายประสาท
    • สำรวจโมเดลล้ำสมัย

  • บทที่ 5: Generative Robotics

    • บรรยายรับเชิญโดย Benjamin Burchfiel
    • Large Behavior Models
    • diffusion models สำหรับหุ่นยนต์

  • บทที่ 6: การออกแบบโปรตีนเชิงกำเนิด

    • บรรยายรับเชิญโดย Jason Yim
    • การออกแบบโปรตีนใหม่ด้วย AI
    • Flow Matching สำหรับการสร้างโครงสร้างโปรตีน

แบบฝึกปฏิบัติ

  • คอร์สนี้มีแบบฝึกปฏิบัติ 3 ชุดที่ให้ผู้เรียนค่อย ๆ สร้างโมเดล Flow Matching และ diffusion ทีละขั้นตอน
  • สามารถเปิดและทำแบบฝึกปฏิบัติบน Google Colab ได้

ผู้สอน

  • Peter และ Ezra เป็นผู้สอนร่วม โดยมี Tommi Jaakkola ทำหน้าที่เป็นผู้สนับสนุนและที่ปรึกษา
  • Peter Holderrieth เป็นนักศึกษาปริญญาเอก และ Ezra Erives เป็นนักศึกษาปริญญาโทวิศวกรรมศาสตร์

ข้อกำหนดเบื้องต้น

  • ต้องมีพื้นฐานด้านพีชคณิตเชิงเส้น การวิเคราะห์เชิงจริง และทฤษฎีความน่าจะเป็นเบื้องต้น รวมถึงมีประสบการณ์กับ Python และ PyTorch

ข้อควรทราบ

  • คอร์สนี้ไม่ได้ครอบคลุม Large Language Models (LLM) โดย LLM เกี่ยวข้องกับข้อมูลไม่ต่อเนื่อง เช่น ข้อความ แต่คอร์สนี้มุ่งเน้นข้อมูลในปริภูมิต่อเนื่อง เช่น ภาพ วิดีโอ และโครงสร้างโปรตีน

คำขอบคุณ

  • คอร์สนี้คงเกิดขึ้นไม่ได้หากปราศจากการสนับสนุนจากบุคคลและองค์กรจำนวนมาก
  • ขอขอบคุณศาสตราจารย์ Tommi Jaakkola, Lisa Bella และ Ellen Reid จาก MIT EECS ตลอดจนอีกหลายท่าน

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-03-04
ความคิดเห็นบน Hacker News

  • คลาสของ MIT "6.S184: Introduction to Flow Matching and Diffusion Models" ถูกเผยแพร่บน YouTube

    • สอนอัลกอริทึม generative AI สำหรับภาพ วิดีโอ โปรตีน เป็นต้น รวมถึงเครื่องมือทางคณิตศาสตร์ที่ใช้ทำความเข้าใจสิ่งเหล่านี้
    • โมเดล flow และ diffusion เป็นหัวข้อที่ค่อนข้างท้าทายในเชิงคณิตศาสตร์ จึงมีหลายคอร์สที่สอนเพียงสัญชาตญาณในระดับสูง
    • คอร์สนี้มอบบทนำที่เข้มงวดทางคณิตศาสตร์และเรียนได้ด้วยตัวเอง โดยมุ่งเป้าไปที่ผู้เริ่มต้นด้าน AI
    • หวังว่าทุกคนจะชอบคอร์สนี้

  • conditional normalizing flows เป็นหนึ่งในวิธีแก้ปัญหา inverse design ที่สวยงามที่สุดวิธีหนึ่ง

    • หากมีข้อมูล ก็สามารถฝึกมันได้
    • แนวคิดการแปลง base distribution ด้วยฟังก์ชัน bijective เพื่อย้ายมันไปยังตำแหน่งที่ถูกต้องนั้นสง่างามมาก
    • เคยมีปัญหาในการจัดการเป้าหมายแบบต่อเนื่องและแบบจัดหมวดหมู่พร้อมกัน
    • เป็นวิธีที่เจ๋งมากจริงๆ

  • ช่วง 10 ปีที่ผ่านมาเป็นยุคทองของการศึกษาด้าน deep learning

    • น่าสนใจที่มีการแข่งขันกันเพื่อมอบคอนเทนต์การเรียนรู้คุณภาพสูงแบบฟรี

  • เป็นคอร์สที่ยอดเยี่ยม อยากเรียนให้เร็วที่สุด

    • แม้ว่าคอร์สนี้จะเน้นที่ continuous space แต่ใน discrete diffusion ก็มีเรื่องน่าสนใจเกิดขึ้นมากมายเช่นกัน
    • สงสัยว่ามีแผนจะทำคอร์สต่อเนื่องหรือไม่
    • เพิ่งทราบว่าผู้สอน Peter ได้ตีพิมพ์งานวิจัยเกี่ยวกับ discrete diffusion

  • สงสัยว่ามีคอลเลกชันที่รวบรวมคอร์สสาธารณะทั้งหมดเกี่ยวกับเทคโนโลยี AI ล่าสุดหรือไม่

  • ขอบคุณ MIT OCW และผู้ร่วมงานอย่างมาก

    • ใช้สิ่งนี้เป็นสื่อเสริม และการได้เรียนหัวข้อเดียวกันจากสองแนวทางที่ต่างกันนั้นมีประโยชน์มาก
    • ช่วยได้มากโดยเฉพาะกับหัวข้อที่เข้าใจยาก

  • ดูเหมือนว่า LLMs จะดึงความสนใจไปมาก ทั้งที่เทคโนโลยีนี้มีประโยชน์อย่างยิ่ง

  • เป็นเรื่องยอดเยี่ยมที่ MIT มอบคอนเทนต์ที่ทันเวลาและเกี่ยวข้องให้ฟรี

  • ขอบคุณมากจริงๆ สงสัยว่ามีคอร์ส OCW อื่นเกี่ยวกับ AI สมัยใหม่อีกหรือไม่

  • ทำได้ดีมาก ขอแสดงความยินดี