CS 886: แนวโน้มการวิจัยล่าสุดของ Foundation Models

• หนึ่งในคอร์ส AI ของมหาวิทยาลัยวอเตอร์ลู ซึ่งได้รับฉายาว่า "MIT แห่งแคนาดา"
• ในแต่ละบทมีลิงก์ไปยังสไลด์คำอธิบาย วิดีโอบรรยายบน YouTube และเอกสารอ้างอิง
• แค่หัวข้อและรายการเอกสารอ้างอิงก็น่าจะเป็นแหล่งอ้างอิงที่ดีได้แล้ว

สารบัญการบรรยาย

Introduction to Foundation Models

1. แนะนำ Foundation Model
2. คำแนะนำรายวิชา
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. การพรีเทรน Language Model

Large Language Models

9. Large Language Model
10. Scaling Law
11. Instruction Tuning & RLHF
12. การฝึก LLM อย่างมีประสิทธิภาพ
13. การอนุมาน LLM อย่างมีประสิทธิภาพ
14. การบีบอัดและทำให้ LLM เบาบาง
15. การทำ Prompting สำหรับ LLM

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. การสร้างภาพ
19. การพรีเทรน Multimodal Model
20. Large Multimodal Model

Augmenting Foundation Models

21. Tool Augmentation
22. Retrieval Augmentation