OpenLLM - แพลตฟอร์มแบบเปิดสำหรับใช้งาน LLM ในโปรดักชัน
(github.com/bentoml)- รองรับ LLM หลากหลายประเภท จึงสามารถทำ inference และ deploy ได้
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- เสิร์ฟ LLM เป็น RESTful API หรือ gRPC ได้ด้วยคำสั่งเดียว
- เรียกใช้งานได้จาก WebUI, CLI, Python/Javascript Client หรือ HTTP Client ใดก็ได้
- มีการรองรับ LangChain, BentoML, HuggingFace ในตัว
- มีแผนจะรองรับการทำ fine-tuning ของ LLM ในอนาคต
ยังไม่มีความคิดเห็น