ExecuTorch Alpha: เสริมศักยภาพการนำโมเดลภาษาขนาดใหญ่และ AI ไปใช้งานบนเอดจ์ด้วยความร่วมมือจากชุมชน

• PyTorch เปิดตัว ExecuTorch Alpha โดยมุ่งเน้นการนำโมเดลภาษาขนาดใหญ่ (LLM) และโมเดล ML ขนาดใหญ่ไปใช้งานบนอุปกรณ์เอดจ์ ทำให้ API มีเสถียรภาพ และปรับปรุงกระบวนการติดตั้งให้แข็งแกร่งยิ่งขึ้น

• ExecuTorch Alpha รองรับ Llama 2 ของ Meta และให้การรองรับระยะเริ่มต้นสำหรับ Llama 3 ทำให้สามารถรัน LLM เหล่านี้ได้อย่างมีประสิทธิภาพบนอุปกรณ์เอดจ์ เช่น iPhone และโทรศัพท์ Samsung Galaxy

• เพื่อเพิ่มประสิทธิภาพบนอุปกรณ์เอดจ์ที่มีทรัพยากรจำกัด ExecuTorch Alpha ใช้เทคนิค quantization และอาศัยการรองรับ dynamic shape ของ XNNPack รวมถึง dtype ใหม่ เพื่อรองรับอุปกรณ์ CPU ได้อย่างกว้างขวาง

• ExecuTorch SDK มาพร้อมเครื่องมือดีบักและโปรไฟล์ที่ปรับปรุงดีขึ้น ช่วยให้นักพัฒนาสามารถแมปโหนด operator กลับไปยังซอร์สโค้ด Python ต้นฉบับ เพื่อแก้ปัญหาความผิดปกติและปรับแต่งประสิทธิภาพได้อย่างมีประสิทธิภาพ

• ความร่วมมือกับพาร์ตเนอร์อย่าง Arm, Apple, Qualcomm Technologies, Google, Unity และ Meta มีบทบาทสำคัญต่อการพัฒนา ExecuTorch ซึ่ง Meta ได้นำไปใช้กับการติดตามมือและโมเดลต่าง ๆ บนอุปกรณ์อยู่แล้ว