Nebullvm - ไลบรารีโอเพนซอร์สที่เร่ง AI Inference ได้เร็วขึ้น 5~20 เท่า

• รับโมเดล AI แล้วสร้างเวอร์ชันที่ปรับแต่งให้รันได้เร็วขึ้น
• ทดสอบดีปเลิร์นนิงคอมไพเลอร์หลายตัวเพื่อหาวิธีที่เหมาะสมที่สุดสำหรับฮาร์ดแวร์เฉพาะ
  • ไม่ยึดติดกับโมเดลดีปเลิร์นนิง: ใช้ได้กับ Transformer, LSTM, CNN, FCN เป็นต้น โดยไม่ขึ้นกับประเภทของโมเดล
  • ไม่ยึดติดกับฮาร์ดแวร์: รองรับ CPU และ GPU ส่วนใหญ่ และมีแผนรองรับ TPU และ ASIC สำหรับดีปเลิร์นนิงโดยเฉพาะในเร็ว ๆ นี้
  • ไม่ยึดติดกับเฟรมเวิร์ก: รองรับ PyTorch, TensorFlow, HuggingFace และจะรองรับอื่น ๆ เพิ่มเติมในเร็ว ๆ นี้
• ทุกอย่างรันบนเครื่องโลคัล จึงปลอดภัย
• ใช้งานได้ง่ายด้วยโค้ดเพียงไม่กี่บรรทัด

[emilec]

(ผู้เขียนไลบรารี) ขอบคุณที่แชร์! ดีใจที่คุณทำงานอย่างสนุก
มันจะพัฒนาต่อไปและมีประสิทธิภาพดีขึ้นเรื่อย ๆ... ขอให้เร่งความเร็วอย่างมีความสุข!