robots.txt ของ Wikipedia

robots.txt ที่มีคอมเมนต์กำกับไว้จนน่าสนุก - ทั้งบอตที่ทำงานผิดปกติ, บอตที่ไม่ทำตามข้อกำหนด, บอตสำหรับแคปเจอร์, บอตโฆษณาของ Google, รวมถึงโหมด recursive ของ wget ที่มีปัญหาเยอะ เป็นต้น

[rtyu1120]

ตรงส่วน "Doesn't follow robots.txt anyway, but..." นี่ขำดีนะ 555

[iolothebard]

นับว่าเป็นแนวปฏิบัติที่ดีของ robots.txt เลย!!

ขอบคุณสำหรับข้อมูลดี ๆ ครับ