Ailoy: เครื่องมือสร้าง on-device AI agent ที่ใช้งานง่าย
(github.com/brekkylab)ailoy เป็นไลบรารีที่ช่วยให้สร้าง LLM agent ได้อย่างง่ายดาย。
มีให้เลือกสองเวอร์ชันคือ python / javacript(node) และขอการันตีว่าใช้ง่ายที่สุดเมื่อเทียบกับเครื่องมือที่มีอยู่ตอนนี้。
จุดเด่นคือแม้ไม่ใช่ผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิงก็สามารถสร้างได้。
Google, OpenAI, Anthropic สุดท้ายก็พาให้ต้องใช้ API กันมากอยู่ดี เลยรู้สึกว่าเป็นตัวกินเงินไม่หยุด จึงลองทำให้สามารถรัน agent ด้วย on-device AI ได้。
ถ้าเข้ามาทางลิงก์ GitHub หรือ Discord ผมจะช่วยดูจุดที่ติดขัดให้ ลองใช้กันดูแล้วถ้ามีความเห็นฝากไว้จะขอบคุณมากครับ!
4 ความคิดเห็น
โมเดลมีขนาดเล็ก เลยสงสัยว่าประสิทธิภาพที่สัมผัสได้จริงจะอยู่ในระดับไหนนะครับ
เมื่อเทียบกับซีรีส์ GPT หรือ deepseek r1 ก็ให้ความรู้สึกว่ายังน่าเสียดายอยู่พอสมควรครับ แม้ว่าโมเดล 30B จะค่อนข้างดีแน่นอน แต่ถ้าจะรันแบบ on-device ฝั่งนี้ก็มีข้อเสียคือต้องมี GPU ระดับประมาณ 5090 ขึ้นไป....
ดังนั้นถ้าต้องการทั้งประสิทธิภาพใกล้เคียงโมเดลของ OpenAI และการทำ token optimization ผมคิดว่าแนวทางแบบไฮบริดที่ใช้ OpenAI สำหรับงานที่ซับซ้อน และใช้ local model สำหรับงานง่าย ๆ น่าจะดีที่สุดครับ
แต่ก็ไม่ได้ถึงขั้นใช้ไม่ได้เสียทีเดียว และถ้าไม่ใช่งานที่ซับซ้อนมาก ก็รู้สึกว่าพวกงานอย่างการแปลหรือสรุปความแตกต่างก็ไม่ได้มากขนาดนั้น... 555
เข้าใจแล้วครับ^^ ขอบคุณสำหรับคำตอบ