- แคชคำตอบของ LLM เพื่อลดต้นทุนการใช้ LLM ขององค์กรและเพิ่มความเร็วในการตอบกลับ
- เพิ่มอัตรา cache hit โดยใช้กลยุทธ์ semantic caching เพื่อค้นหาคำถามที่คล้ายกันหรือเกี่ยวข้องกัน
- แปลงคำถามเป็น embedding ด้วยอัลกอริทึม embedding และทำการค้นหาความเกี่ยวข้องของ embedding นี้ผ่าน vector store
- LLM Adapter : รองรับ OpenAI ChatGPT และ LangChain (มีแผนรองรับ Bard/Anthropic/LLaMA เป็นต้น)
- MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager : LRU, FIFO
ยังไม่มีความคิดเห็น