Basaran - ทางเลือกโอเพนซอร์สแทน OpenAI Text Completion API
(github.com/hyperonym)- ให้บริการ Streaming API ที่เข้ากันได้กับ OpenAI สำหรับโมเดลสร้างข้อความที่อิงกับ Hugging Face Transformer
- สามารถใช้งาน LLM อื่น ๆ ได้ในลักษณะเดียวกับบริการของ OpenAI
- รองรับการสร้างแบบสตรีมมิงด้วยกลยุทธ์การถอดรหัสที่หลากหลาย
- รองรับทั้งโมเดลแบบ decoder-only และ encoder-decoder
- Detokenizer ที่รองรับ surrogates และ whitespace
- มีตัวเลือก Quantization และรองรับหลาย GPU
- แสดงความคืบหน้าแบบเรียลไทม์ด้วย SSE (Server-Sent Events)
ยังไม่มีความคิดเห็น