คุณอาจต้องตรวจสอบเครื่องใช้ไฟฟ้าอัจฉริยะของคุณ

• จาก IP ที่ไม่ซ้ำกันกว่า 2.67 ล้านรายการที่ honeypot ของ Anubis เก็บรวบรวมจาก Sourceware พบว่า 89.3% ไม่อยู่ในรายการภัยคุกคามเดิม ทำให้ยากที่จะระบุกิจกรรมของ scraper ส่วนใหญ่ได้ด้วยรายการบล็อกที่รู้จักอยู่แล้วเพียงอย่างเดียว
• มีการแทรก HTML ที่ไม่ถูกต้องเชิงความหมายและลิงก์ “Don't click me” ลงในหน้าท้าทาย เพื่อหลอกให้ scraper ที่ทำงานแบบหยาบ ๆ ซึ่งตามลิงก์ดังกล่าวไหลไปยังเนื้อหาที่ไร้ความหมายและลิงก์เพิ่มเติม
• จาก IP ที่ไม่ซ้ำกัน 2,678,193 รายการ มีที่อยู่ซึ่งลงทะเบียนในฐานข้อมูล 286,161 รายการ (10.7%) และในจำนวนนั้น 98.6% อยู่ในหมวด abuse ขณะที่ทราฟฟิกทั้งหมดกระจายอยู่ใน 229 ประเทศและ 21,116 ASN
• ทราฟฟิกอาจมาจาก เครื่องใช้ไฟฟ้าอัจฉริยะที่ติดมัลแวร์ ซึ่งเข้าร่วมในเครือข่ายพร็อกซี แต่ข้อมูลที่เก็บรวบรวมเพียงอย่างเดียวไม่สามารถพิสูจน์ชนิดอุปกรณ์จริงหรือสถานะการติดมัลแวร์ได้
• เพื่อตอบโต้การ scraping ที่ไม่ได้จำกัดอยู่แค่ประเทศหรือเครือข่ายโทรคมนาคมใดโดยเฉพาะ จำเป็นต้องใช้ ไฟร์วอลล์เว็บแอปพลิเคชัน อย่าง Anubis และการแก้ปัญหาที่ต้นเหตุจำเป็นต้องอาศัยการตอบสนองระดับโลกที่ประสานกันพร้อมกัน

---

Scraper ที่รายการภัยคุกคามเดิมตรวจไม่พบ

• ในกระบวนการสร้าง Anubis reputation database การเข้าถึงที่บันทึกโดย ฟังก์ชัน honeypot 80~90% มาจาก IP ที่ไม่อยู่ในรายการเฝ้าระวังภัยคุกคามเดิม
• ข้อมูลที่ Sourceware เก็บรวบรวมในช่วงหลายเดือนที่ผ่านมา มี IP ที่ไม่ซ้ำกัน 2,678,193 รายการ
  • ไม่มีรายการที่ไม่ใช่ IP หรือที่อยู่ที่ถูกตัดออกเพราะซ้ำ
  • ที่อยู่ที่ลงทะเบียนในฐานข้อมูลมี 286,161 รายการ คิดเป็น 10.7% ของทั้งหมด
  • ที่อยู่ที่ยังไม่ลงทะเบียนมี 2,392,032 รายการ คิดเป็น 89.3% ของทั้งหมด
• ตารางอินพุตทั้งหมดสามารถดูได้ที่ Appendix A: Full tables for the reputation database input

การจำแนกประเภทและผู้ให้ข้อมูลของ IP ที่ลงทะเบียน

• ในบรรดาที่อยู่ที่ลงทะเบียนในฐานข้อมูล หมวด abuse มี 282,182 รายการ คิดเป็น 98.6%
  • datacenter 7,918 รายการ (2.8%)
  • proxy 2,562 รายการ (0.9%)
  • vpn 1,264 รายการ (0.4%)
  • crawler 46 รายการ
  • tor 17 รายการ
• เมื่อแยกตามแฟล็ก มีการนับ is_datacenter 7,918 รายการ, is_proxy 2,562 รายการ, is_vpn 1,264 รายการ และ is_crawler 46 รายการ
• มีผู้ให้ข้อมูล 126 ราย โดย netshield มีสัดส่วนมากที่สุดที่ 237,945 รายการ (83.2%)
  • bitwire 96,539 รายการ (33.7%), magicteamc 26,475 รายการ (9.3%), ipinsights 17,378 รายการ (6.1%), threathive 8,422 รายการ (2.9%)
  • นอกจากนี้ยังรวมถึง netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud, OVHcloud และรายอื่น ๆ
  • IP เดียวอาจมีได้หลายหมวดหรือหลายข้อมูลผู้ให้บริการ ทำให้ผลรวมของสัดส่วนเกิน 100%

การกระจายตัวทั่วประเทศและเครือข่าย

• ที่อยู่ทั้งหมดถูกพบใน 229 ประเทศ จึงไม่ได้จำกัดอยู่เฉพาะภูมิภาคใดภูมิภาคหนึ่ง
  • จำนวนที่อยู่มากที่สุดเรียงตามลำดับคือ บราซิล 270,937 รายการ, อินเดีย 185,091 รายการ, ซาอุดีอาระเบีย 120,372 รายการ, เม็กซิโก 95,449 รายการ และตุรกี 87,258 รายการ
  • อัตราการลงทะเบียนในฐานข้อมูลพบว่า บังกลาเทศ 29.9%, ยูเครน 27.6%, อิรัก 21.9%, เวเนซุเอลา 21.3%, ปากีสถาน 20.0% เป็นต้น
  • สหรัฐอเมริกามีที่อยู่ 3,347 รายการจากทั้งหมด 40,828 รายการที่ลงทะเบียน คิดเป็น 8.2%
• เมื่อเทียบกับข้อเท็จจริงที่ว่า ISO 3166-1 มีประเทศอยู่ 249 รายการ และในจำนวนนั้น 193 ประเทศเป็นสมาชิก UN กิจกรรมของ scraper จึง กระจายอยู่ทั่วโลก
• ที่อยู่กระจายอยู่ใน ASN จำนวน 21,116 รายการ
  • AS55836 Reliance Jio Infocomm Limited มี 1,749 รายการจากทั้งหมด 57,029 รายการที่ลงทะเบียน คิดเป็น 3.1%
  • AS45899 VNPT Corp มี 6,831 รายการจากทั้งหมด 56,910 รายการ คิดเป็น 12.0%
  • AS14593 Space Exploration Technologies Corporation มี 4,597 รายการจากทั้งหมด 31,569 รายการ คิดเป็น 14.6%
  • AS9541 Cyber Internet Services มี 3,696 รายการจากทั้งหมด 21,386 รายการ คิดเป็น 17.3%
  • ในตารางละเว้น ASN ที่เหลืออีก 18,069 รายการไว้

วิธีที่ honeypot ของ Anubis ดัก scraper

• Anubis แทรก HTML ที่ไม่ถูกต้องเชิงความหมาย ดังต่อไปนี้ลงในหน้าท้าทายทุกหน้า เพื่อวัดขอบเขตการแพร่กระจายของปัญหา scraper

/init">Don't click me

• แม้เป็นลิงก์ที่ควรถูกละเว้นในกระบวนการประมวลผลตามปกติ แต่หากตามลิงก์นี้ไป จะมีการส่งคืนเนื้อหาที่สร้างได้ต้นทุนต่ำและไม่มีข้อมูลที่เป็นประโยชน์จริง
  • เนื้อหาที่ส่งคืนจะมีลิงก์อีกสองลิงก์ที่นำไปยังหน้าอื่น
• โครงสร้างนี้ออกแบบมาเพื่อดึง scraper ที่เขียนมาอย่างหยาบ ๆ เข้าไปใน honeypot แทนเว็บไซต์ที่ต้องการปกป้อง พร้อมทั้งช่วยวัดขนาดของปัญหา

ความเป็นไปได้ที่เครื่องใช้ไฟฟ้าอัจฉริยะติดมัลแวร์และข้อจำกัดในการตอบโต้

• ทราฟฟิกที่สังเกตพบส่วนใหญ่อาจมาจาก เครื่องใช้ไฟฟ้าอัจฉริยะที่ติดมัลแวร์ ซึ่งส่งทราฟฟิกให้กับเครือข่ายพร็อกซี
• อย่างไรก็ตาม นี่ยังคงเป็นเพียงข้อสันนิษฐาน และข้อมูลที่เก็บรวบรวมไม่ได้พิสูจน์ ชนิดอุปกรณ์จริงหรือสถานะการติดมัลแวร์ ของแต่ละ IP โดยตรง
• เพื่อให้มีผลกระทบจริงต่อปัญหาที่กระจายอยู่ทั่วประเทศและ ASN จำเป็นต้องมี การตอบสนองระดับโลกที่ประสานกันพร้อมกัน
• เนื่องจากขนาดของ scraping กว้างขวางเพียงพอ จึงจำเป็นต้องใช้งานไฟร์วอลล์เว็บแอปพลิเคชันอย่าง Anubis
• หลังการเผยแพร่ ข้อเท็จจริงและสถานการณ์อาจเปลี่ยนแปลงไปแล้ว ดังนั้นควรตรวจสอบส่วนที่ไม่ชัดเจนหรืออาจผิดพลาดก่อนจะด่วนสรุป

[GN⁺]

ความคิดเห็นบน Lobste.rs

• script type=ignore เป็นไอเดียที่แยบยลมาก เครื่องมืออย่าง elinks และ headless Chrome ที่สแครเปอร์ใช้ต่างก็เมินมันอย่างสิ้นเชิง แต่ตัวเนื้อหาเองยังสามารถถูกส่งกลับไปยังฐานหลักและเพิ่มเข้าไปในคิวงานได้
• คำถามที่น่าสนใจจริง ๆ กลับไม่ได้ถูกพูดถึง อยากรู้ว่า จะทำการตรวจสอบอย่างไร และถ้าพบพฤติกรรมที่เป็นปฏิปักษ์แล้วควรทำอย่างไร
  โดยเฉพาะอยากรู้เพิ่มเติมว่าจะตรวจจับได้อย่างไรว่าอุปกรณ์ที่ติดเชื้อกำลังสื่อสารกับ เซิร์ฟเวอร์สั่งการและควบคุม (C&C) หรือไม่
  • แม้แต่จะระบุรุ่นสมาร์ตทีวีที่เป็นไปได้ทั้งหมดก็ยังไม่รู้วิธี ดังนั้นการเสนอวิธีตรวจมัลแวร์ของแต่ละรุ่นยิ่งทำได้ยากเข้าไปอีก คำแนะนำเท่าที่พอให้ได้คืออย่าติดตั้ง แอปผิดกฎหมายที่ชูจุดขายว่าดูทีวีฟรี
  • ดูเหมือนจะทำได้ยากหากไม่มี network engineering ในระดับหนึ่ง วิธีที่แน่นอนที่สุดคือวิเคราะห์ทราฟฟิกตามอุปกรณ์ต้นทางใน LAN ที่เราเตอร์
    น่าจะใช้ปริมาณทราฟฟิกทั้งหมด หรือจำนวน IP ปลายทางที่แตกต่างกันซึ่งมีการเชื่อมต่อ เป็นเกณฑ์ได้
• สงสัยว่าหมวด abuse ในที่นี้หมายถึงอะไร
  • มีหลายความหมายปนกันอยู่ จึงควรแยกออก แต่โดยทั่วไปหมายถึง ปลายทางที่เป็นที่รู้จักว่าเป็นแหล่งส่งสแปมอีเมล หรือปรากฏใน FireHOL ค้นหา abuse ในไฟล์นี้ได้: https://github.com/TecharoHQ/reputationdb/…