• ความพยายามในการสร้าง CoPilot ที่โฮสต์บนเครื่องโลคัล
  • ใช้โมเดล SalesForce CodeGen: NVidia Triton Inference Server + FasterTransformaer Backend
  • ข้อกำหนด: Docker, docker-compose >= 1.28, NVIDIA GPU (ต้องมี VRAM เพียงพอสำหรับรันโมเดล)

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น