oh-my-free-models - พร็อกซีภายในเครื่องสำหรับส่งต่อ coding agent ไปยังโมเดลฟรีที่เร็วที่สุดในตอนนี้

 (github.com/hakilee)
18 คะแนน โดย happyhaki 19 일 전 | 2 ความคิดเห็น | แชร์ทาง WhatsApp

oh-my-free-models (omfm) คือพร็อกซีภายในเครื่องที่คอยส่งต่อ coding agent ไปยังโมเดลที่เร็วที่สุดในตอนนั้นจากผู้ให้บริการฟรีหลายราย เพียงเปลี่ยน baseURL ของเอเจนต์ที่รองรับ OpenAI หรือ Anthropic ให้เป็น localhost แล้วเลือกโมเดลฟรีไว้สักไม่กี่ตัว omfm ก็จะคอยส่งคำขอต่อไปเรื่อย ๆ แม้ในช่วงที่ latency·rate-limit·quota แกว่งอยู่

ทำไมถึงจำเป็น

Coding agent บน free tier อาจดูดีบนสเปกชีต แต่พอใช้งานจริงจะติดขัดอยู่ 4 จุด

  • Rate limit ทำให้งานสะดุดกลางคัน โมเดลฟรีของ OpenRouter หรือ NVIDIA มักโยน 429 มาแบบไม่มีสัญญาณเตือน การรันที่กำลังไปได้ดีอาจหยุดลงเพียงเพราะมีการเรียกใช้เครื่องมือครั้งเดียว และต้องให้คนมากดลองใหม่เอง

  • Latency แกว่งตามช่วงเวลาอย่างมาก โมเดลฟรีตัวเดิมอาจเร็วในตอนเช้า แต่ช้าจนแทบใช้งานไม่ได้ในตอนบ่าย เพราะขึ้นอยู่กับเวลาและภูมิภาค จึงไม่สามารถกำหนด "โมเดลที่เร็ว" ไว้ล่วงหน้าได้ มีเพียง "โมเดลที่เร็วในตอนนี้" เท่านั้น

  • เมื่อ quota หมด ต้องสลับ provider ด้วยตัวเอง หาก free quota ของผู้ให้บริการรายหนึ่งหมด ต้องเปลี่ยนทั้งคีย์และ baseURL เอง การตั้งค่าของเอเจนต์ไม่สามารถตามการเปลี่ยนแปลงนี้ได้โดยอัตโนมัติ

  • แค็ตตาล็อกฟรีเปลี่ยนบ่อยมาก มีทั้งโมเดลใหม่ โมเดลที่หายไป โมเดลที่ถูกติดป้าย deprecated และโมเดลที่เริ่มส่ง error แบบเงียบ ๆ ไม่ใช่แดชบอร์ดที่จะบอกคุณ แต่คุณจะรู้ก็ต่อเมื่อชนปัญหาเข้าเอง

คุณสมบัติหลัก

  • ส่งต่อคำขอไปยัง live model ที่มี latency ต่ำที่สุดในขณะนั้นจาก pool ของโมเดลฟรีที่เลือกไว้
  • โมเดลที่เจอ error เรื่อง rate limit·quota เช่น 429/402 จะถูกพักแบบ cooldown ราว 10 นาที
  • มี endpoint ที่เข้ากันได้กับ OpenAI /v1 และ Anthropic /anthropic
  • ใช้งานกับไคลเอนต์แบบ OpenAI-compatible เช่น OpenClaw, Hermes Agent, OpenCode ได้ด้วยรูปแบบ url=http://localhost:4567/v1, model=omfm
  • ใน Claude Code สามารถเปลี่ยน Anthropic base URL เป็น http://localhost:4567/anthropic เพื่อใช้งานได้
  • แยก pool ของโมเดลตามการใช้งานได้ด้วยกลุ่ม omfm/fast, omfm/balanced, omfm/capable
  • มี CLI เช่น omfm model, omfm start, omfm status, omfm doctor, omfm usage

เหมาะอย่างยิ่งสำหรับ local/CLI coding agent ที่รับ endpoint แบบ OpenAI-compatible เช่น OpenClaw หรือ Hermes Agent โดยคงการตั้งค่าเอเจนต์เดิมไว้ แล้วเปลี่ยนเพียง base URL และ model เป็น omfm จากนั้นระบบจะจัดการทั้งการวัด latency ของโมเดลฟรี การตัดโมเดลที่ล้มเหลวออก และการสลับ provider ให้โดยอัตโนมัติ

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
channprj 14 일 전

เป็นโปรเจกต์ที่น่าสนุกดีครับ ทำให้นึกถึง 9router ขึ้นมาชั่วคราว แต่ดูเหมือนว่าจะโฟกัสกับ free models มากกว่าเลยน่าสนใจดี ขอบคุณสำหรับผลิตภัณฑ์ดี ๆ ครับ

https://9router.com
 
happyhaki 14 일 전

โอ้ มีของแบบนี้ด้วยนะครับ ขอบคุณที่แชร์ ตอนแรกผมนึกถึง LiteLLM แต่พอใส่ผู้ให้บริการแบบเสียเงินเข้าไปใน omfm ก็รู้สึกว่าไม่ต่างอะไรกัน เลยตั้งใจจะคงไว้เฉพาะโมเดลฟรีครับ