- กรณีจำนวนมากที่ Googlebot ส่งคำขอมากพอจนทำให้ไซต์ล่ม ไม่ได้มาจาก Google แต่เกิดจาก บอตภายนอกที่แอบอ้างเป็น Googlebot
- HTTP
User-Agentเป็นสิ่งที่ผู้ส่งคำขอกำหนดเองได้ ดังนั้นแค่มีสตริงGooglebot/2.1ในล็อกจึง ไม่รับประกันว่าเป็น Googlebot จริง - บอตแอบอ้างใช้ชื่อ Googlebot เพื่อหลบเลี่ยงการบล็อก และอาจเป็น แคมเปญ crawler อันตรายขนาดใหญ่เพียงรายเดียว ที่ใช้เซิร์ฟเวอร์จากผู้ให้บริการโฮสติงหลายราย
- ต้องตรวจสอบว่าเป็น Googlebot จริงหรือไม่ด้วยคำสั่ง
hostหรือ ช่วง IP ที่ Google เปิดเผย และแม้ IP ที่มีผู้จดทะเบียนเป็น Google LLC ก็อาจเป็นที่อยู่ Google Cloud จึงต้องตรวจสอบเพิ่มเติม - ไม่มีข้อมูลว่าทราฟฟิก Googlebot ทั้งหมดมากกว่าครึ่งเป็นของปลอม แต่ ทราฟฟิก Googlebot ที่รบกวนบริการ ดูเหมือนจะมาจากบอตแอบอ้างเป็นหลัก
ความเข้าใจผิดเกี่ยวกับทราฟฟิก Googlebot
- มีข้อร้องเรียนจากผู้ดูแลระบบว่า crawler ของ Google Search สร้างทราฟฟิกมากเกินไปจนทำให้ไซต์ล่ม หรือทำงานคล้าย DDoS
- แต่ทราฟฟิกที่ก่อความเสียหายเช่นนี้อาจเป็น คำขอแอบอ้าง ที่ผู้ไม่ใช่ Google ส่งมาโดยนำชื่อ Googlebot ไปใช้
- แค่พบสตริง Googlebot ในล็อกเซิร์ฟเวอร์ ไม่สามารถสรุปได้ว่า Google เป็นแหล่งที่มาของทราฟฟิก
User-Agent ไม่ใช่หลักฐานยืนยันตัวตน
- คำขอที่ดูเหมือนมาจาก Googlebot มักมีค่าประมาณนี้
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- ในล็อกของ nginx ก็อาจบันทึกสตริงเดียวกันได้ แต่ เฮดเดอร์ User-Agent สามารถตั้งค่าเป็นอะไรก็ได้ตามที่ผู้ส่งคำขอต้องการ
- User-Agent เป็นการระบุตัวเองโดยสมัครใจ ไม่ใช่ข้อมูลรับรองที่ผ่านการตรวจสอบแล้ว ดังนั้นใครก็อ้างว่าเป็น Googlebot ได้
แหล่งที่มาและขนาดของบอตแอบอ้าง
- ดูเหมือนผู้แอบอ้างใช้ Googlebot User-Agent เพื่อหลบเลี่ยงการบล็อกบอตที่มีอยู่
- IP ในล็อกตัวอย่างตรวจสอบแล้วว่าเป็นเซิร์ฟเวอร์ที่ให้บริการโดยบริษัทโฮสติง Virtual Machine Solutions LLC ไม่ใช่ Google
- การแอบอ้างเป็น Googlebot เป็นเทคนิคที่ใช้กันมานานแล้ว และช่วงหลังสังเกตได้ว่ามีขนาดใหญ่ขึ้น
- Chris Siebenmann เสนอว่าแทนที่จะเป็นเทคนิคเก่าที่กลับมานิยมพร้อมกันในหลายที่ อาจเป็น แคมเปญขนาดใหญ่ของ crawler อันตรายรายเดียว ที่ได้เซิร์ฟเวอร์จำนวนมากจากผู้ให้บริการโฮสติงหลายราย
วิธีตรวจสอบ Googlebot ตัวจริง
- ตาม เอกสารการตรวจสอบ Googlebot ของ Google สามารถรันคำสั่ง
hostหลายครั้ง หรือเทียบกับช่วง IP ที่ Google เปิดเผยไว้ได้ - crawler รายใหญ่ส่วนมากเผยแพร่รายการ IP แต่รูปแบบและวิธีดำเนินงานโดยละเอียดแตกต่างกัน
- JAFAR เป็นข้อเสนอเพื่อทำให้รายการ IP ของ crawler เป็นมาตรฐาน โดยขณะนี้ยังอยู่ระหว่าง กระบวนการมาตรฐาน
- แม้ผู้จดทะเบียน IP จะแสดงเป็น Google LLC ก็อาจเป็นที่อยู่โฮสติงของ Google Cloud จึงต้องตรวจสอบแยกต่างหาก
- ยังไม่พบกรณีแอบอ้างล่าสุดผ่าน Google Cloud
- หากผลการตรวจสอบพบว่าเป็น Googlebot จริงที่ crawl มากเกินไป ควรทำตาม เอกสารของ Google สำหรับรับมือการ crawl มากเกินไป
การยืนยันตัวตนบอตที่เชื่อถือได้
- ต่อให้เพิ่มฟิลด์เพียงฟิลด์เดียว ผู้ประสงค์ร้ายก็ไม่มีเหตุผลที่จะตั้งค่านั้นอย่างซื่อสัตย์
- สิ่งที่เรียกว่า
evil bitใน RFC 3514 เป็นการเสียดสีว่าผู้ประสงค์ร้ายจะไม่ปฏิบัติตามมาตรฐานแบบนี้ - Web Bot Auth HTTP Signatures ซับซ้อนกว่าการเพิ่มฟิลด์แยกต่างหาก แต่เป็นแนวทางที่พยายามทำให้ User-Agent เชื่อถือได้ผ่าน ลายเซ็นเข้ารหัส
ข้อจำกัดของคำว่า “ส่วนใหญ่”
- ไม่มีข้อมูลที่พิสูจน์ได้ว่าของปลอมมีมากกว่าครึ่งหนึ่งของทราฟฟิก Googlebot ทั้งหมดจริง
- อย่างไรก็ตาม กรณีทราฟฟิก Googlebot ส่วนใหญ่ที่รบกวนไซต์อย่างรุนแรง ดูเหมือนจะเกิดจาก Googlebot ปลอม
- จากประสบการณ์ Googlebot ตัวจริงทำงานได้เสถียรมาก ขณะที่บอตแอบอ้างอาจส่งคำขอจนไซต์เกิดปัญหาได้
1 ความคิดเห็น
ความเห็นจาก Lobste.rs