Cafe24 เปิดตัว LLM Router
(llm-router.cafe24.com)- โครงสร้างพื้นฐาน LLM แบบรวมศูนย์ที่เรียกใช้ โมเดลมากกว่า 100 รุ่น เช่น Claude, Gemini, Qwen, Llama, DeepSeek ผ่าน เอ็นด์พอยต์เดียว
- มี API เดียวที่เข้ากันได้กับ OpenAI จึงไม่จำเป็นต้องเรียนรู้หรือดูแลสเปก API, ลอจิกการ retry, และฟอร์แมตสตรีมมิงที่แตกต่างกันของแต่ละ Provider แยกกัน
- Auto Router วิเคราะห์พรอมป์ต์เพื่อแยกประเภทว่าเป็นงานโค้ดดิ้ง/การให้เหตุผล/การแปล/การสร้างสรรค์ และเลือกโมเดลที่เหมาะสมที่สุดด้านต้นทุนโดยอัตโนมัติ
- ตัวอย่าง: "ช่วยสร้างโค้ด React infinite scroll ให้หน่อย" → ตรวจจับว่าเป็นงานโค้ด → claude-sonnet-4-6
- Auto Fallback สลับไปยังเส้นทางสำรองที่กำหนดไว้ล่วงหน้าได้ทันทีเมื่อเกิดปัญหาหรือ timeout และการเรียกที่ล้มเหลวจะไม่ถูกคิดค่าบริการ (ZCI)
- ตัวอย่าง: qwen3-72b → llama-3.3-70b → deepseek-v3
- Provider Routing ช่วยตั้งลำดับความสำคัญของโปรไวเดอร์ตามเกณฑ์ด้านต้นทุน ความเร็ว และปริมาณงานที่รองรับได้
- โหมด BYOK (Bring Your Own Key) ให้ลงทะเบียนคีย์ OpenAI/Anthropic/Google ที่มีอยู่แล้วได้โดยตรง เพื่อควบคุมค่าใช้จ่ายด้วยตนเอง
- Semantic Cache ข้ามการเรียก LLM ไปเลยเมื่อเป็นคำถามที่คล้ายกัน ช่วยลดต้นทุนโทเคน และส่งคำตอบกลับได้ในระดับมิลลิวินาที
- ฟีเจอร์ Preset สำหรับบันทึกชุดค่าอย่างโมเดลหลัก, System Prompt, Sampling และเชน Fallback หลายขั้นตอนรวมกัน ทำให้การเรียกใช้งานเหลือเพียงบรรทัดเดียว และปรับแต่งผ่านคอนโซลได้โดยไม่ต้อง redeploy โค้ดเลย
- Privacy & การกำกับดูแล รองรับการมาสก์ข้อมูลอ่อนไหว (PII) ในล็อกและข้อมูลที่ส่งไปยังโมเดลโดยอัตโนมัติ
- ใน Realtime Dashboard สามารถดูคำขอ ต้นทุน แนวโน้มโทเคน สัดส่วนต้นทุนแยกตามโมเดล อัตราสำเร็จ/ล้มเหลว และล็อกแบบละเอียดระดับคำขอได้
- ใน Playground เปรียบเทียบคุณภาพคำตอบ ความเร็ว และต้นทุนของแต่ละโมเดลได้ทันทีโดยไม่ต้องเขียนโค้ด
- คิดค่าบริการแบบ จ่ายตามการใช้งานด้วยเครดิต ไม่มีสัญญาผูกมัดหรือค่าสมาชิกรายเดือน ค่าบริการพื้นฐานรายเดือน 0 วอน สมัครแล้วรับเครดิตฟรีทันที พร้อมรองรับการคิดค่าบริการเป็นเงินวอนและการออกใบกำกับภาษี
ยังไม่มีความคิดเห็น