agents.txt — ข้อเสนอมาตรฐานแผนผังเว็บไซต์เอกสารสำหรับ AI เอเจนต์

ปัจจุบันเมื่อ AI เอเจนต์ทั่วไปที่ไม่ได้ผ่านการจูนต้องค้นหาเนื้อหาจากเอกสารบนเว็บ วิธีที่ใช้กันคือเปิดดูทีละหน้าเหมือนมนุษย์
แต่ละหน้า HTML มักพ่วงทั้งแถบด้านข้าง ส่วนหัว และส่วนท้ายมาด้วย ทำให้มีข้อมูลรบกวนมากกว่าเนื้อหาที่ต้องการมาก
และหากต้องสำรวจเว็บไซต์เอกสารที่มี 651 หน้า ก็จะสิ้นเปลืองโทเค็นระดับหลายล้านโทเค็น

robots.txt มีไว้บอกครอว์เลอร์ว่า "ห้ามเข้าตรงนี้"
ส่วน sitemap.xml มีไว้ส่งรายการ URL ให้เสิร์ชเอนจิน
แต่ทั้งสองอย่างแทบไม่ช่วยให้ AI เอเจนต์ค้นหาหน้าที่ต้องการได้อย่างรวดเร็ว
llms.txt เองก็เป็นคำอธิบายแบบอิสระ จึงไม่เหมาะกับการนำทางแบบมีโครงสร้าง

agents.txt คือไฟล์ดัชนีแบบมีโครงสร้างที่เว็บไซต์เอกสารสามารถวางไว้ที่พาธ /.well-known/agents.txt
AI เอเจนต์เพียงอ่านไฟล์นี้ไฟล์เดียว ก็สามารถใช้ประมาณ 3,200 โทเค็นสำหรับเว็บเอกสาร 651 หน้า
เพื่อตอบคำถามอย่าง "หน้าที่เกี่ยวกับ prompt caching อยู่ที่ไหน" หรือ "Python SDK quickstart คืออะไร" ได้ทันทีโดยไม่ต้องครอว์ลหน้าเว็บ

ในโปรเจกต์ข้อเสนอนี้ ได้รองรับการนำทางสำหรับเอกสารทางการของ claude-code, gpt-codex ใน 4 ฟอร์แมตคือ TXT, MD, JSON และ XML
พร้อมใส่อนุกรมวิธานประเภทหน้า 12 แบบและฟีเจอร์บีบอัดแพตเทิร์น SDK มาด้วย
แนวคิดนี้คล้ายกับที่ Vercel ลดการใช้โทเค็นลง 93% ด้วย agent-browser แต่ครั้งนี้ลองมองในระดับมาตรฐานเว็บ ไม่ใช่ระดับแอปเดี่ยว

คิดว่าการเดโมด้วยเอเจนต์น่าจะเป็นวิธีที่ดีที่สุด จึงได้เขียนเอเจนต์ชื่อ NAVIGATOR.md ไว้ที่รูทของโปรเจกต์
สามารถดู reference implementation ได้ที่ https://agentnav.baekenough.com

หากมีข้อเสนอแนะจะขอบคุณมากครับ