Cog: เครื่องมือคอนเทนเนอร์สำหรับแมชชีนเลิร์นนิง
(github.com/replicate)- เครื่องมือโอเพนซอร์สที่ช่วยแพ็กเกจโมเดลแมชชีนเลิร์นนิงให้อยู่ในระดับพร้อมใช้งานจริงในโปรดักชัน
- สร้าง Docker image ได้อย่างง่ายดาย โดยรวม Best Practice ไว้ครบ ทั้งอิมเมจพื้นฐานของ NVidia + แคช + Python + ค่าเริ่มต้นของตัวแปรสภาพแวดล้อม เป็นต้น
→ เพื่อให้ CUDA/cuDNN/PyTorch/TensorFlow/Python และอื่น ๆ ใช้งานร่วมกันได้ในเวอร์ชันที่เข้ากัน - สร้างสคีมา OpenAPI ผ่าน Pydantic
- สร้าง RESTful HTTP API แบบไดนามิกด้วย FastAPI ผ่านประเภทของโมเดล
- มีคิวเวิร์กเกอร์ที่ใช้ Redis สำหรับโมเดลดีปเลิร์นนิงที่รันเป็นเวลานานหรือการประมวลผลแบบแบตช์ และมีแผนจะเพิ่มตัวเลือกอื่นในอนาคต
- เดิมสร้างขึ้นสำหรับ Replicate ซึ่งเป็น ML SaaS แต่ก็สามารถนำไปใช้กับอินฟราของตนเองได้
ยังไม่มีความคิดเห็น