Ollama รองรับการเรียกใช้ Tool

 (ollama.com)
6 คะแนน โดย xguru 2024-08-21 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ตอนนี้ Ollama รองรับการเรียกใช้ Tool ในโมเดลอย่าง Llama 3.1 แล้ว
  • ทำให้โมเดลสามารถใช้ Tool ที่รู้จักเพื่อตอบพรอมป์ตที่กำหนดได้ จึงสามารถทำงานที่ซับซ้อนขึ้นหรือโต้ตอบกับโลกภายนอกได้
    • Tool ต่างๆ: ฟังก์ชันและ API, การท่องเว็บ, code interpreter
  • หากต้องการเปิดใช้การเรียก Tool ต้องส่งรายการ Tool ที่ใช้งานได้ผ่านฟิลด์ tools ของ Ollama API และโมเดลที่รองรับจะตอบกลับด้วย tool_calls ได้แล้ว โดยผลลัพธ์จาก Tool สามารถส่งผ่านข้อความที่มี role เป็น tool
  • โมเดลที่รองรับ: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
  • OpenAI-compatible endpoint ของ Ollama ก็รองรับ Tool แล้วเช่นกัน และสามารถสลับไปใช้กับ Llama 3.1 และโมเดลอื่นๆ ได้
  • สิ่งที่จะปรับปรุงในอนาคต
    • การสตรีมการเรียก Tool: รองรับการสตรีมการเรียก Tool เพื่อให้เริ่มทำงานได้เร็วขึ้นเมื่อมีหลาย Tool ถูกส่งกลับมา
    • การเลือก Tool: สามารถบังคับให้โมเดลใช้ Tool ที่กำหนดได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
edunga1 2024-08-21

https://th.news.hada.io/topic?id=13436
ฟีเจอร์คล้ายกับ phidata เลยใช่ไหมครับ? ฝั่งนี้แค่ระบุ docstring ให้ชัดเจนก็พอ แต่ถ้าไม่ใช่ GPT ก็ใช้ tool ไม่ได้เลยครับ