ตัวแยกวิเคราะห์ Robots.txt สำหรับ NodeJS

 (github.com)
4 คะแนน โดย xguru 2022-01-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • พัฒนาโดยมีเป้าหมายให้เข้ากันได้กับร่างข้อกำหนด Robots Exclusion Protocol ของ IETF

  • กฎที่รองรับ

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path : การจับคู่ Wildcard(*) และ EOL($)

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2022-01-15