Ollama รองรับ Structured Output

 (ollama.com)
13 คะแนน โดย xguru 2024-12-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ตอนนี้ Ollama รองรับฟีเจอร์ Structured Output ที่ใช้ JSON Schema เพื่อจำกัดเอาต์พุตของโมเดลให้อยู่ในรูปแบบที่กำหนด
  • ไลบรารี Python และ JavaScript ได้รับการอัปเดตให้สามารถใช้ฟีเจอร์นี้ได้แล้ว
  • กรณีใช้งานหลักของ Structured Output
    • พาร์สข้อมูลจากเอกสาร
    • ดึงข้อมูลจากภาพ
    • จัดโครงสร้างคำตอบของ language model ทุกแบบ
    • ให้ความน่าเชื่อถือและความสม่ำเสมอสูงกว่าโหมด JSON
  • เคล็ดลับการใช้งาน
    • กำหนด JSON Schema ด้วย Pydantic (Python) หรือ Zod (JavaScript)
    • เพิ่ม "ส่งกลับเป็น JSON" ในพรอมป์ต์
    • ลดค่า Temperature เป็น 0 เพื่อให้ได้เอาต์พุตแบบกำหนดผลลัพธ์ได้
  • แผนในอนาคต
    • รองรับการควบคุมการสร้างด้วยการเปิดเผย logit
    • ปรับปรุงประสิทธิภาพและความแม่นยำ
    • รองรับรูปแบบเพิ่มเติมนอกเหนือจาก JSON Schema
    • รองรับ sampling แบบเร่งด้วย GPU

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
curiousotter 2024-12-10

เมื่อก่อนต้องใส่ JSON schema เป็นส่วนหนึ่งของพรอมป์ต์ แล้วใน API parameter ก็ใช้แค่รูปแบบ format: json แต่ตอนนี้ทั้งประหยัดโทเคนขึ้นและตั้งค่าได้สะดวกกว่าเดิมแล้วนะ!