robots.txt ของ Wikipedia
(en.wikipedia.org)robots.txt ที่มีคอมเมนต์กำกับไว้จนน่าสนุก - ทั้งบอตที่ทำงานผิดปกติ, บอตที่ไม่ทำตามข้อกำหนด, บอตสำหรับแคปเจอร์, บอตโฆษณาของ Google, รวมถึงโหมด recursive ของ wget ที่มีปัญหาเยอะ เป็นต้น
robots.txt ที่มีคอมเมนต์กำกับไว้จนน่าสนุก - ทั้งบอตที่ทำงานผิดปกติ, บอตที่ไม่ทำตามข้อกำหนด, บอตสำหรับแคปเจอร์, บอตโฆษณาของ Google, รวมถึงโหมด recursive ของ wget ที่มีปัญหาเยอะ เป็นต้น
2 ความคิดเห็น
ตรงส่วน "Doesn't follow robots.txt anyway, but..." นี่ขำดีนะ 555
นับว่าเป็นแนวปฏิบัติที่ดีของ robots.txt เลย!!
ขอบคุณสำหรับข้อมูลดี ๆ ครับ