Lanarky - เฟรมเวิร์กโอเพนซอร์สสำหรับนำ LLM ไปใช้งานจริงในโปรดักชัน
(github.com/ajndkr)- พัฒนาบน FastAPI
- สตรีมโทเค็นได้หลายโหมด
- แชตบอต gradio แบบเรียบง่ายสำหรับการทำต้นแบบอย่างรวดเร็ว
- รองรับแอปพลิเคชัน LangChain
- มีกลยุทธ์การแคช LLM หลายแบบ
- เตรียมรองรับ: การรองรับ LlamaIndex, Guidance, Rebuff เป็นต้น และการเชื่อมต่อกับ SQL DB
ยังไม่มีความคิดเห็น