guidance - ภาษาคำแนะนำสำหรับการควบคุม LLM
(github.com/microsoft)- ภาษาแบบหนึ่งที่ช่วยควบคุมโมเดลภาษาได้อย่างมีประสิทธิภาพมากกว่าพรอมป์ตแบบเดิม
- ใช้เทมเพลต Handlebars เพื่อกำหนดโครงสร้างและวิธีการแสดงผล พร้อมควบคุมลำดับการทำงานเชิงตรรกะได้
- ใช้คีย์/แวลูแคชภายในพรอมป์ต และให้อนุมานเฉพาะส่วนที่ต้องการ เพื่อเพิ่มประสิทธิภาพการอนุมาน
- ไม่ได้จำกัดแค่การควบคุมโครงสร้างผลลัพธ์แบบง่าย ๆ แต่ยังรับประกันไวยากรณ์ที่ถูกต้อง เช่น JSON ได้อีกด้วย
- รองรับการผสานรวมกับโมเดล HuggingFace ได้อย่างง่ายดาย
3 ความคิดเห็น
แวบแรกดูเหมือนว่าจะยืดหยุ่นกว่าและใช้ง่ายกว่า LMQL แต่ก็ยังอยากรู้รีวิวจากคนที่ได้ลองใช้จริงนะ
มีประโยชน์มากเลยนะครับ ถ้ามีเวอร์ชันพอร์ตสำหรับ nodejs ก็คงดีมากครับ
ถ้าเข้าไปดูในรีโพซิทอรีจะมีตัวอย่างอยู่มากมาย ซึ่งแค่ดูตัวอย่างก็น่าสนใจมากแล้ว
โดยเฉพาะในกรณีที่ต้องการเอาต์พุตแบบมีโครงสร้าง แนวคิดที่ให้ LLM สร้างเฉพาะส่วนเนื้อหาจริง ๆ แทนที่จะสร้างทั้งหมด
ทำให้ลดเวลาในการอนุมานลงได้ครึ่งหนึ่ง ดูเป็นจุดที่น่าสนใจมากครับ