Tanuki - พัฒนาแอปที่ใช้ LLM ได้อย่างง่ายดาย
(github.com/Tanuki)- ใน Python สามารถเรียกใช้ LLM ได้อย่างง่ายดายแทนฟังก์ชัน โดยให้พารามิเตอร์และผลลัพธ์เหมือนกับที่คาดหวังจากฟังก์ชันที่เขียนขึ้นเองด้วยมือ
- ฟังก์ชันที่ใช้ LLM มีคุณสมบัติเป็น Well-Typed, Reliable และ Stateless และสามารถเพิ่มเข้าไปในแอปโปรดักชันได้ทันที
- ยิ่งใช้ฟังก์ชันมากเท่าไร ก็ยิ่งประหยัดได้มากขึ้นผ่านการกลั่นโมเดลอัตโนมัติ (Distillation) โดยลดต้นทุนได้สูงสุดราว 9~10 เท่า
- รองรับ RAG และ Output Align
ยังไม่มีความคิดเห็น