- ใช้เป็นเกตเวย์เลเยอร์ 7 อัจฉริยะสำหรับการปกป้อง การสังเกตการณ์ และการปรับให้เหมาะกับแต่ละบุคคลของแอปพลิเคชัน LLM (เอเจนต์, แอสซิสแทนต์, โคไพลอต) โดยผสานรวมกับ API ของผู้ใช้เพื่อเพิ่มประสิทธิภาพ LLM
- จัดการงานสำคัญที่เกี่ยวข้องกับการประมวลผลพรอมป์ต์ พร้อมตรวจจับและบล็อกความพยายาม Jailbreak
- ประมวลผลคำขอด้วยการเรียกใช้ backend API ให้สอดคล้องกับพรอมป์ต์
- มีการทำ routing อย่างชาญฉลาดระหว่าง upstream LLM และรองรับการกู้คืนเมื่อเกิดภัยพิบัติ
- สังเกตการณ์และจัดการพรอมป์ต์และการโต้ตอบกับ LLM จากศูนย์กลาง
ฟีเจอร์หลัก
- อิงกับ Envoy: สร้างบน Envoy Proxy เพื่อจัดการทราฟฟิกขาเข้าและขาออกของพรอมป์ต์ในลักษณะเดียวกับคำขอ HTTP และมอบความสามารถในการประมวลผล LLM ที่ขยายขนาดได้
- Function Calling: รองรับแอปเอเจนต์และแอป RAG ผ่าน LLM ที่ออกแบบมาเพื่อจัดการงานที่รวดเร็วและคุ้มค่า เช่น การเรียก API หรือการดึงพารามิเตอร์จากพรอมป์ต์
- Prompt Guard: จัดการระบบป้องกันความปลอดภัยของพรอมป์ต์จากศูนย์กลางเพื่อป้องกันความพยายาม Jailbreak และรับประกันการโต้ตอบกับผู้ใช้อย่างปลอดภัยโดยไม่ต้องเขียนโค้ดเพิ่มเติม
- การจัดการทราฟฟิก: ทำการ retry การเรียก LLM อย่างชาญฉลาด และสลับการเชื่อมต่อโดยอัตโนมัติเพื่อรับประกันความพร้อมใช้งานอย่างต่อเนื่องของการเชื่อมต่อ upstream
- ความสามารถในการสังเกตการณ์ตามมาตรฐาน: ใช้มาตรฐาน W3C Trace Context เพื่อให้ติดตามคำขอแบบ end-to-end ข้ามแอปพลิเคชันได้ และช่วยเพิ่มประสิทธิภาพของแอป AI ผ่านเมตริกอย่าง latency, การใช้โทเค็น และอัตราข้อผิดพลาด
ยังไม่มีความคิดเห็น