ถ้ามีปัญหา ก็ไปบล็อกกันที่ระดับ IP
(boston.conman.org)- ระหว่างการวิเคราะห์ทราฟฟิกเว็บล่าสุด พบว่าเว็บบอตชื่อ Thinkbot สร้างทราฟฟิกมากที่สุด
- บอตตัวนี้ไม่สนใจ
robots.txtและแม้แต่ข้อความแนะนำตัวก็เขียนอย่างไม่รับผิดชอบประมาณว่า “ถ้ามีปัญหาก็ไปบล็อก IP เอาเอง” - ตลอดหนึ่งเดือน มันใช้ IP ที่แตกต่างกัน 74 รายการ และกระจายอยู่ใน 41 network block
- จากการตรวจสอบพบว่า network block ทั้งหมดนี้เป็น ของ Tencent และทำให้เกิดข้อสงสัยว่านี่เกี่ยวข้องกับความเป็นไปได้ในการ ผลักภาระต้นทุนของ Great Firewall หรือไม่
- สุดท้ายจึงต้องเพิ่มกฎบล็อกขนาดใหญ่ที่ครอบคลุม IP มากกว่า 470,000 รายการ
การปรากฏตัวของ Thinkbot
- ระหว่างการวิเคราะห์ทราฟฟิกเว็บ พบว่าเว็บบอตชื่อ Thinkbot มีสัดส่วนติดอันดับต้น ๆ
- สตริง User-Agent มีลักษณะไม่จริงจังดังนี้
“Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- นอกจากข้อความว่า “ถ้าอยู่ในช่วงทดสอบแล้วสร้างปัญหา โปรดบล็อก IP” แล้ว ยัง ไม่มีแม้แต่ URL อ้างอิง
- มันครอว์ลโดยไม่เคารพไฟล์
robots.txtเลย - แม้ผู้ดูแลเว็บไซต์จะพยายามบล็อก ก็ทำได้ยากเพราะมันไม่ได้ใช้ IP เดียว แต่ใช้ IP address 74 รายการ
- เมื่อตรวจสอบย้อนกลับและค้นหา ASN พบว่าทราฟฟิกมาจาก 41 network block
- นั่นหมายความว่าไม่สามารถป้องกันได้ด้วยการบล็อกแค่ IP เดียว
ความเชื่อมโยงกับ Tencent
- network block ทั้ง 41 รายการนี้เป็น ของ Tencent ทั้งหมด
- ผู้เขียนสงสัยว่ารัฐบาลจีนอาจเพิกเฉยหรือถึงขั้นสนับสนุนเรื่องนี้ และอาจตีความได้ว่าเป็นความพยายาม ผลักภาระต้นทุนของ Great Firewall ไปให้โลกภายนอก
- ภายในจีนยังสามารถเก็บข้อมูลคอนเทนต์ได้ และต่อให้ถูกบล็อกจากภายนอก ในมุมของ CCP ก็ไม่ได้เป็นปัญหา แต่สำหรับประเทศหรือเว็บไซต์อื่นที่พยายามบล็อกกลับต้องเป็นฝ่ายรับภาระ
มาตรการบล็อกด้วยไฟร์วอลล์
- ผู้เขียนได้เพิ่ม Tencent network block เข้าไปใน กฎไฟร์วอลล์ badbots ด้วยตนเอง
- ตัวอย่าง:
43.130.0.0/18,101.32.0.0/20,150.109.96.0/19เป็นต้น - มีการเพิ่ม network block มากกว่า 40 รายการ ซึ่งแม้จะยังไม่ครอบคลุม IP ทั้งหมดที่ Tencent ถือครอง แต่ก็รวม IP ที่ไม่ซ้ำกันมากกว่า 476,590 รายการ
บทสรุปและอุปมา
- ผู้เขียนอธิบายสถานการณ์นี้ว่าเป็นความจริงแบบ “บนอินเทอร์เน็ต เราไม่อาจมีสิ่งดี ๆ ได้อีกต่อไป”
- นี่ไม่ใช่แค่กรณีบล็อกทราฟฟิกบอตธรรมดา แต่เป็นตัวอย่างที่สะท้อนถึง ความเชื่อถือที่ลดลงของระบบนิเวศอินเทอร์เน็ตโดยรวม และการตอบโต้เชิงป้องกันที่หลีกเลี่ยงไม่ได้
ยังไม่มีความคิดเห็น