vLLM Compose - สลับ/ให้บริการหลายโมเดล vLLM ได้ง่ายด้วยโปรไฟล์ Docker Compose

เป็นเครื่องมือจัดการแบบ TUI สำหรับ vLLM โดยเฉพาะ ที่ช่วยแก้ความไม่สะดวกเมื่อต้องให้บริการ LLM หลายตัวบนเครื่องโลคัล (ต้องพิมพ์คำสั่ง docker ใหม่สำหรับแต่ละโมเดล, ต้องจำการตั้งค่า GPU, การติดตามสถานะ)

• บันทึกการตั้งค่าแยกตามโมเดลเป็นโปรไฟล์ YAML และเริ่ม/หยุดได้จาก TUI ด้วยการกด Enter ครั้งเดียว
• Quick Setup: เพียงใส่ชื่อโมเดล ก็สร้างโปรไฟล์และการตั้งค่าให้อัตโนมัติ
• มีแดชบอร์ดมอนิเตอร์ GPU แบบเรียลไทม์ พร้อมฟีเจอร์ประเมินการใช้หน่วยความจำล่วงหน้า (hf-mem)
• เติมคำสั่งอัตโนมัติสำหรับ vLLM arguments: ดึงรายการอาร์กิวเมนต์ที่ใช้ได้จากอิมเมจ vLLM จริงโดยอัตโนมัติ และกดปุ่ม Tab เพื่อเติมคำสั่งได้
• ไลเซนส์ MIT, ต้องใช้ Python 3.10+ / Docker / NVIDIA GPU

https://bae-changhyun.github.io/vllm-compose/