ปรับโฉม vLLM Recipes - ตั้งค่าแยกตามคู่ผสมโมเดล+ฮาร์ดแวร์ได้ในคลิกเดียว
(recipes.vllm.ai)recipes.vllm.ai ได้รับการปรับโฉมครั้งใหญ่ ตอนนี้คุณสามารถหาคำตอบแบบอินเทอร์แอ็กทีฟสำหรับคำถามว่า "จะรันโมเดล X บนฮาร์ดแวร์ Y ด้วย vLLM ได้อย่างไร?" ได้แล้ว
การเปลี่ยนแปลงหลัก
URL มิเรอร์ของ HuggingFace — แค่เปลี่ยน huggingface.co เป็น recipes.vllm.ai ก็จะพาไปยังเรซิปีของโมเดลนั้นได้ทันที (ตัวอย่าง: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
ตัวสร้างคำสั่งแบบอินเทอร์แอ็กทีฟ — เลือกฮาร์ดแวร์, variant และกลยุทธ์การทำงานขนาน แล้วระบบจะสร้างคำสั่ง vllm serve ที่พร้อมใช้งานได้ทันที
ฮาร์ดแวร์แบบปลั๊กอิน — สลับ NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) ได้ในคลิกเดียว พร้อมตั้งค่าแฟลกและตัวแปรสภาพแวดล้อมให้อัตโนมัติ
JSON API — ให้บริการทุกเรซิปีผ่านพาธ /.json เพื่อให้อีเจนต์และเครื่องมืออัตโนมัตินำไปใช้งานได้ทันที
ร่วมส่งเรซิปีผ่าน Agent Skill
ในรีโพมี Agent Skill รวมอยู่แล้ว จึงสามารถร่วมส่งเรซิปีใหม่ได้แบบ end-to-end ตั้งแต่การรันเบนช์มาร์กไปจนถึงการสร้างเรซิปีและส่ง PR โดยเอเจนต์จะคอยแนะนำขั้นตอนให้
→ github.com/vllm-project/recipes
4 ความคิดเห็น
อีกไม่นานก็คงจะคลิกครั้งเดียวแล้วดีพลอยได้บนทุกอุปกรณ์เลยมั้ง... สั่นเลย
ดูเหมือนว่าตอนนี้ตัวที่ใช้สำหรับงานบริการก็น่าจะมีครบหมดแล้วครับ
ดูเหมือนว่ายังมีโมเดลที่ยังไม่มีอยู่อีกเยอะเลยนะ
ดังนั้นจึงดูเหมือนเป็นโอกาสที่ดีที่จะได้มีส่วนร่วมครับ