- DataDog + PostHog สำหรับแอป LLM ออกแบบมาให้รวดเร็ว เสถียร และขยายต่อได้
- จัดการข้อมูล LLM ได้ทั้งการ Trace, Evaluate, Label และ Analyze
- สแตกบนพื้นฐาน Rust ที่ประกอบด้วย RabbitMQ (message queue) + Postgres (storage) + Clickhouse (analytics) + Qdrant (semantic search)
จุดเด่นที่ทำให้ Laminar แตกต่าง
- มุ่งเน้นที่การจัดการ execution trace ทั้งระบบ ไม่ใช่แค่การเรียกใช้ LLM เท่านั้น
- การทำ instrumentation บนพื้นฐาน OpenTelemetry: ใช้โค้ดเพียง 2 บรรทัด + decorator เพื่อเรียกใช้ LLM/vector DB อัตโนมัติและติดตามฟังก์ชัน
- สร้าง Rust collector สำหรับ OpenTelemetry (Otel) span โดยใช้กฎเชิงความหมายของ GenAI
- การวิเคราะห์แบบ semantic event-based
- Laminar โฮสต์คิวงานเบื้องหลังของ LLM pipeline และเอาต์พุตของ pipeline จะถูกแปลงเป็น metric
- สามารถติดตาม "semantic metric" (เช่น สิ่งที่ AI agent พูดจริง) และเชื่อมโยงกับตำแหน่งที่เกิดขึ้นใน trace ได้
- แยก logic หลักของแอปออกจากการจัดการ event ของ LLM
Pipeline Builder
- ใช้ Graph UI ที่แสดง LLM และ utility function เป็น node และ data flow เป็น edge
- สร้าง custom task execution engine ที่รองรับการรัน parallel branch, cycle และ branch
- สามารถเรียก pipeline ได้โดยตรงเป็น API endpoint
- Laminar ติดตาม pipeline โดยตรงเพื่อลด overhead จากการส่งเอาต์พุตปริมาณมากผ่านเครือข่าย
ความสามารถในการค้นหา trace
- ทำดัชนีแต่ละ span ลงใน vector DB และทำ hybrid search ตอน query
- ฟีเจอร์นี้ยังอยู่ในเวอร์ชันเบตา แต่จะเป็นส่วนสำคัญของแพลตฟอร์มในอนาคต
ฟีเจอร์การประเมินผล
- ใช้แนวทางของ Braintrust และ Weights & Biases ที่ว่า "รันทุกอย่างบนเครื่อง local แล้วส่งผลลัพธ์ไปยังเซิร์ฟเวอร์"
- ติดตามทุกอย่างได้ด้วย SDK ที่เรียบง่ายและแดชบอร์ดที่ดี
- ฟีเจอร์การประเมินผลยังอยู่ในระยะเริ่มต้น แต่กำลังผลักดันอย่างจริงจัง
เป้าหมายของ Laminar
- เป็น "Supabase สำหรับ LLMOps" หรือแพลตฟอร์มโอเพนซอร์สแบบครบวงจรมาตรฐานสำหรับทุกอย่างที่เกี่ยวกับ LLM/GenAI
ยังไม่มีความคิดเห็น