ปรับโฉม vLLM Recipes - ตั้งค่าตามคู่โมเดล+ฮาร์ดแวร์ได้ในคลิกเดียว
(recipes.vllm.ai)recipes.vllm.ai ได้รับการปรับโฉมครั้งใหญ่ ตอนนี้คุณสามารถหาคำตอบแบบอินเทอร์แอ็กทีฟสำหรับคำถามว่า “จะรันโมเดล X บนฮาร์ดแวร์ Y ด้วย vLLM อย่างไร?” ได้แล้ว
การเปลี่ยนแปลงสำคัญ
URL มิเรอร์ของ HuggingFace — แค่เปลี่ยน huggingface.co เป็น recipes.vllm.ai ก็จะพาไปยังสูตรของโมเดลนั้นได้ทันที (เช่น recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Interactive Command Builder — เลือกฮาร์ดแวร์, variant และกลยุทธ์การทำงานแบบขนาน แล้วระบบจะสร้างคำสั่ง vllm serve ที่พร้อมใช้งานได้ทันที
ฮาร์ดแวร์แบบปลั๊กอิน — สลับระหว่าง NVIDIA(Hopper/Blackwell) ↔ AMD(MI300X/MI355X) ได้ในคลิกเดียว พร้อมตั้งค่า flags และตัวแปรสภาพแวดล้อมให้อัตโนมัติ
JSON API — ให้บริการทุก recipe ผ่านเส้นทาง /.json เพื่อให้นำไปใช้ต่อได้ทันทีในเอเจนต์และเครื่องมืออัตโนมัติ
ร่วมส่ง recipe ด้วย Agent Skill
ในรีโพซิทอรีมี Agent Skill รวมอยู่แล้ว จึงสามารถร่วมส่ง recipe ใหม่แบบ end-to-end ได้ โดยเอเจนต์จะช่วยแนะนำตั้งแต่การรัน benchmark ไปจนถึงการสร้าง recipe และส่ง PR
→ github.com/vllm-project/recipes
4 ความคิดเห็น
อีกไม่นานก็คงจะคลิกครั้งเดียวแล้วดีพลอยได้บนทุกอุปกรณ์เลยมั้ง... สั่นเลย
ดูเหมือนว่าตอนนี้ตัวที่ใช้สำหรับงานบริการก็น่าจะมีครบหมดแล้วครับ
ดูเหมือนว่ายังมีโมเดลที่ยังไม่มีอยู่อีกเยอะเลยนะ
ดังนั้นจึงดูเหมือนเป็นโอกาสที่ดีที่จะได้มีส่วนร่วมครับ