Intel เปิดตัวไลบรารีเร่งความเร็ว NPU
(github.com/intel)ไลบรารีเร่งความเร็ว Intel® NPU: ยกระดับประสิทธิภาพ AI ด้วย Intel Neural Processing Unit
• Intel NPU Acceleration Library เป็นไลบรารี Python ที่ใช้พลังของ Intel Neural Processing Unit (NPU) เพื่อเพิ่มประสิทธิภาพของแอปพลิเคชันปัญญาประดิษฐ์ โดยจะปรับแต่งเวิร์กโหลด AI ผ่านการกำหนดทิศทางการประมวลผลและการไหลของข้อมูลอย่างมีประสิทธิภาพ เพื่อให้ได้ประสิทธิภาพและการใช้พลังงานที่เหมาะสมที่สุด เพิ่มการใช้ทรัพยากรการประมวลผลให้สูงสุด และลดการถ่ายโอนข้อมูลให้น้อยที่สุด
• ไลบรารีนี้ได้รับการออกแบบมาสำหรับโปรเซสเซอร์ Intel Core Ultra ที่รวม NPU เข้ากับความสามารถด้านการเร่งการคำนวณและการถ่ายโอนข้อมูล โดยมีจุดเด่นคือ Neural Computing Engine สำหรับงาน AI, Streaming Hybrid Architecture Vector Engine สำหรับงานประมวลผลทั่วไป และ DMA Engine สำหรับการถ่ายโอนข้อมูลอย่างมีประสิทธิภาพ
• ฟีเจอร์หลักสำหรับการพัฒนา ได้แก่ การควอนไทซ์แบบ 8 บิตและ 4 บิต, การอนุมานแบบ mixed precision ดั้งเดิมบน NPU, การรองรับ Float16 และ BFloat16, การรองรับไฟล์ torch.com, การใช้งาน LLM MLP horizontal fusion, การอนุมานแบบ static shape, การอนุมาน MHA บน NPU และการประมวลผลแบบ heterogeneous ระหว่าง NPU/GPU
• ในการใช้งานไลบรารีนี้ ให้ตรวจสอบว่าระบบมี NPU ที่พร้อมใช้งาน และติดตั้งแพ็กเกจผ่าน pip รองรับทั้งระบบ Windows และ Linux แต่ยังไม่รองรับ MacOS สำหรับประสิทธิภาพสูงสุด ควรอัปเดตไดรเวอร์ NPU เป็นเวอร์ชันล่าสุด
• ไลบรารีนี้มีตัวอย่างการใช้งานที่นำไปใช้ได้จริง และรองรับไฟล์ torch.com สำหรับการปรับแต่งโมเดล PyTorch ให้เหมาะกับ NPU นอกจากนี้ยังมีความสามารถแบบ explicit เมื่อใช้ PyTorch เวอร์ชันต่ำกว่า 2.0.0 หรือเมื่อคอมไพล์โมเดลในสภาพแวดล้อม Windows
1 ความคิดเห็น
น่าคาดหวังว่าแม้จะไม่มีการ์ดจอแยก ก็จะสามารถประมวลผล AI ได้มากแค่ไหนด้วย NPU เพียงอย่างเดียว