DeepSpeed - ไลบรารีเพิ่มประสิทธิภาพการเรียนรู้เชิงลึกที่ Microsoft เปิดเผย

• lightweight wrapper บน PyTorch

• ปรับโค้ดเพียงเล็กน้อย, ใช้โมเดลที่ใหญ่ขึ้นได้มากกว่า 10 เท่า, และความเร็วมากกว่า 5 เท่า

• ลดหน่วยความจำที่ใช้ระหว่างการฝึกให้เหลือน้อยที่สุด (4x) ด้วยการใช้ Zero Redundancy Optimizer (ZeRO)