- The Numbers ซึ่งเคยให้ข้อมูลภาพยนตร์กว่า 78,000 เรื่อง หยุดให้บริการกะทันหันเมื่อวันที่ 5 มีนาคม 2026 และเนื่องจากทราฟฟิกอัตโนมัติขนาดใหญ่กับการสำรวจด้านความปลอดภัยที่มุ่งเป้าไปยังระบบอายุ 30 ปี จึงต้องทิ้งไซต์เดิมและกู้คืนกลับมาเพียงฟังก์ชันขั้นต่ำ
- สัดส่วนมนุษย์ในทราฟฟิกทั้งหมดมีเพียงประมาณ 10% และตั้งแต่เดือนธันวาคม 2025 ทราฟฟิกจากการเก็บข้อมูลตามพรอมป์ต์และ AI แบบเอเจนต์เพิ่มขึ้นอย่างรวดเร็ว ทำให้ทีมงานต้องใช้เวลาทำงานราว 90% ไปกับการดูแลไซต์เดิม
- ในล็อกพบไม่เพียงการเก็บข้อมูลตามปกติ แต่ยังมีการ ค้นหาแบ็กดอร์ ที่ดูเหมือนมุ่งหวังเข้าถึงข้อมูลก่อนเวลา หรือดัดแปลงข้อมูล อย่างไรก็ตามยังไม่ยืนยันสาเหตุขัดข้องจริงและผู้โจมตี
- เมื่อข้อมูลของ The Numbers ถูกใช้เป็นเกณฑ์ตัดสินตลาดคาดการณ์รายได้หนังของ Polymarket ข้อมูลก่อนเผยแพร่อาจให้ความได้เปรียบในการซื้อขาย และเครื่องมือ AI ก็ทำให้การสำรวจช่องโหว่ของเว็บไซต์เก่าทำได้ในต้นทุนต่ำ
- AI crawler ไม่ส่งผู้อ่านกลับมา แต่สร้างต้นทุนและความขัดข้องมหาศาล จนทำลาย ความสัมพันธ์แบบแลกเปลี่ยนของเว็บเปิด โดยเฉพาะคลังข้อมูลอิสระ ข่าว ฟอรัม และไซต์อ้างอิงที่พึ่งพาโค้ดเก่าและทีมงานขนาดเล็กจะเปราะบางเป็นพิเศษ
หนึ่งสัปดาห์ที่ฐานข้อมูลของอุตสาหกรรมภาพยนตร์หายไป
- The Numbers เป็นเว็บไซต์ข้อมูลภาพยนตร์ที่สำรวจและให้ข้อมูลรายได้บ็อกซ์ออฟฟิศ งบสร้าง โฮมวิดีโอ และสตรีมมิงด้วยตนเอง มีผู้เยี่ยมชมต่อปีมากกว่า 8 ล้านคน
- นักข่าว แวดวงวิชาการ ผู้สร้างภาพยนตร์ ตลาดคาดการณ์ และ Guinness World Records ใช้เป็นแหล่งข้อมูลที่น่าเชื่อถือ
- ต้นปี 2026 ฐานข้อมูลมีภาพยนตร์ 78,396 เรื่อง บันทึกการฉายในโรง 178,375 รายการ และบุคคล 236,176 คน
- ไซต์หยุดให้บริการเมื่อ 5 มีนาคม 2026 แล้วไม่กลับมานานกว่าหนึ่งสัปดาห์ ก่อนจะถูกกู้คืนเป็นเวอร์ชันย่อบนโครงสร้างพื้นฐานใหม่ในวันที่ 13 มีนาคม
- ชาร์ตเก่า หน้าเฉพาะภาพยนตร์ และ Report Builder หายไป เหลือเพียงฟังก์ชันขั้นต่ำที่เน้นตัวเลขบ็อกซ์ออฟฟิศล่าสุด
- เมื่อแสดงเพียงข้อความว่ากำลังสร้างใหม่โดยไม่มีคำชี้แจงเฉพาะ ผู้ใช้จึงโกรธ และถึงขั้นมีข้อสงสัยว่าเป็นการลดฟีเจอร์โดยตั้งใจเพื่อผลักดันไปสู่สินค้าแบบชำระเงิน
ระบบอายุ 30 ปีที่เริ่มต้นในปี 1997
- Bruce Nash นักคณิตศาสตร์และอดีตนักพัฒนาซอฟต์แวร์ของ IBM เริ่มไซต์ Geocities ที่ติดตามภาพยนตร์ 300 เรื่องเมื่อ 17 ตุลาคม 1997
- จุดเริ่มต้นคือการสร้าง HTML จากฐานข้อมูล Access แล้วอัปโหลดขึ้น Geocities พร้อมแจ้งการวิเคราะห์บ็อกซ์ออฟฟิศสำหรับใช้ซื้อขายหุ้นภาพยนตร์ในกระดานสนทนา Hollywood Stock Exchange
- บทความรำลึกครบรอบ 20 ปีในตอนนั้นปัจจุบันเหลืออยู่เพียงเป็น สำเนาที่เก็บไว้ใน Internet Archive
- ไซต์เดิมที่ขยายตัวมาหลายสิบปีให้บริการประมาณ 2 ล้านหน้า ด้วยไฟล์ซอร์สราว 160,000 ไฟล์
คลื่นทราฟฟิกสองระลอกจาก AI crawler
- ตลอด 25 ปีแรก ผู้เยี่ยมชมหลักคือมนุษย์ เสิร์ชเอนจินที่ค่อนข้างทำตามกฎ และตัวเก็บข้อมูลสำหรับโปรเจกต์ส่วนตัว ส่วนผู้เก็บข้อมูลมากเกินไปยังสามารถระบุและบล็อกได้
- การเปลี่ยนแปลงแรกเริ่มขึ้น ราวปี 2024 เมื่อ crawler สำหรับฝึก AI เข้ามาร่วมกับการเก็บข้อมูลของเสิร์ชเอนจิน
- AI crawler มักทำตามกฎน้อยกว่าเสิร์ชเอนจิน ทำให้งานดูแลเพื่อรักษาเสถียรภาพของไซต์เพิ่มขึ้น
- ในปี 2024 ทราฟฟิกอัตโนมัติบนเว็บทั้งหมดแซงทราฟฟิกมนุษย์ และภายหลังสถิติของ Cloudflare ระบุว่าบอตแตะ 57.5% ของคำขอเว็บเพจ
- ระลอกที่สองเริ่มขึ้น ราวเดือนธันวาคม 2025 โดย AI agent ที่เก็บข้อมูลไซต์เพื่อตอบพรอมป์ต์ และเอเจนต์ที่ผู้ใช้สร้างเอง ทำให้ทราฟฟิกเพิ่มขึ้นอีก
- ในปริมาณการเข้าชม The Numbers สัดส่วนการท่องเว็บโดยมนุษย์โดยตรงอยู่ที่ราว 10% ส่วนที่เหลือคือบอต AI และทราฟฟิกอัตโนมัติ
- ตั้งแต่เดือนธันวาคมถึงต้นมีนาคม ทีมงานใช้เวลาทำงานประมาณ 90% ไปกับการดูแลไซต์เดิม และใช้เวลาที่เหลือพัฒนาระบบใหม่
การตอบโต้ด้วยการบอกเส้นทางไลเซนส์ให้ crawler
- ทีมงานใส่คำแนะนำที่ LLM อ่านได้ไว้ในไซต์ เพื่อชี้ให้ตอบ วิธีซื้อไลเซนส์ แทนการเก็บข้อมูลโดยตรง
- หลังจากนั้น คำถามเกี่ยวกับไลเซนส์ข้อมูลเพิ่มขึ้นราว 10 เท่า
- มาตรการบรรเทาทราฟฟิกได้ผล แต่ไม่ได้แก้ภาระเชิงโครงสร้างที่ต้องให้บริการต่อไปพร้อมปกป้องโค้ดอายุ 30 ปีและไฟล์ 160,000 ไฟล์
เซิร์ฟเวอร์ล่มและร่องรอยการสำรวจด้านความปลอดภัย
- เซิร์ฟเวอร์ล่มใน ช่วงเช้ามืดวันที่ 5 มีนาคม และตอนแรกทีมงานสงสัยว่าสาเหตุมีเพียงภาระจากทราฟฟิก AI
- ในล็อกพบการเข้าถึงด้วย URL ปกติควบคู่กับ ความพยายามค้นหาแบ็กดอร์
- มีความเป็นไปได้ว่ามีคนพยายามเข้าถึงข้อมูลก่อนเผยแพร่บนไซต์ หรือดัดแปลงข้อมูลที่ส่งให้ผู้ใช้
- แม้มีการเก็บข้อมูลและสำรวจแบบอัตโนมัติมาหลายเดือน แต่ยังไม่ยืนยันว่าอะไรทำให้เกิดความขัดข้องสุดท้าย และใครเป็นผู้ดำเนินการ
- ตามคำแนะนำของผู้เชี่ยวชาญด้านความปลอดภัยไซเบอร์ เซิร์ฟเวอร์เดิมจึงไม่ถูกเปิดกลับมา
- หากกู้คืนแบ็กอัป จะเท่ากับเปิดไฟล์เลกาซี 160,000 ไฟล์ให้ผู้โจมตีที่สำรวจช่องโหว่มานานแล้วเห็นอีกครั้ง
- ทีมงานประเมินว่าเซิร์ฟเวอร์เดิมอาจล่มอีกครั้งภายในไม่กี่นาทีหลังกลับมาเดินระบบ จึงสร้างเวอร์ชันฟังก์ชันขั้นต่ำบนโครงสร้างพื้นฐานใหม่
ตลาดคาดการณ์ทำให้ข้อมูลภาพยนตร์มีมูลค่าทางการเงิน
- Polymarket ดำเนินตลาดผลประกอบการสุดสัปดาห์เปิดตัวภาพยนตร์ และกำหนด
Daily Box Office Performanceของ The Numbers เป็น เกณฑ์ตัดสินตลาด - ตลาดรายสุดสัปดาห์แต่ละรายการมักมีขนาดหลายหมื่นถึงหลายแสนดอลลาร์ และบางครั้งตลาดรายได้ภาพยนตร์ที่เปิดพร้อมกันทั้งหมดมีเงินเดิมพันรวมหลายล้านดอลลาร์
- หากเห็นข้อมูลของ The Numbers ก่อนเผยแพร่ได้ ก็จะรู้ผลลัพธ์ก่อนเทรดเดอร์รายอื่นทุกสัปดาห์และซื้อขายล่วงหน้าได้
- ตลาดคาดการณ์สามารถเปลี่ยนข้อมูลแทบทุกชนิดให้มีมูลค่าทางการเงิน เครื่องมือ AI ราคาถูกช่วยลดกำแพงทางเทคนิคของการบุกรุกไซต์ และบอตเอเจนต์ขนาดใหญ่ก็ขยายความเปราะบางของโครงสร้างพื้นฐานเว็บเดิม
AI ลดกำแพงการเริ่มต้นโจมตีไซเบอร์
- Anthropic เปิดเผย แคมเปญจารกรรมไซเบอร์ที่มี AI ประสานงานและมีการบันทึกเป็นครั้งแรก ในเดือนพฤศจิกายน 2025
- องค์กรที่ได้รับการสนับสนุนจากรัฐโจมตีหน่วยงานราว 30 แห่ง และ AI ทำงาน 80~90%
- มนุษย์เข้ามาเกี่ยวข้องเพียง 4~6 จุดตัดสินใจต่อแคมเปญ
- กำแพงของการโจมตีไซเบอร์ที่ซับซ้อนลดลงมาก และดูเหมือนจะลดลงต่อไป
- ตาม รายงานภัยคุกคามฉบับก่อนหน้าของ Anthropic แม้อาชญากรที่ขาดทักษะทางเทคนิคก็ใช้ AI ทำงานซับซ้อนอย่างการพัฒนาแรนซัมแวร์ ซึ่งในอดีตต้องฝึกฝนหลายปี
- เครื่องมือทดสอบเจาะระบบ AI อัตโนมัติ XBOW ส่งช่องโหว่ประมาณ 1,060 รายการ และขึ้นอันดับ 1 ในสหรัฐฯ บน HackerOne
- ไซต์อายุ 30 ปีซึ่งมีโอกาสสูงที่จะมีช่องโหว่ที่เป็นที่รู้จัก เป็นพื้นผิวโจมตีที่เหมาะให้เครื่องมือ AI สำรวจได้ในต้นทุนต่ำ และกำแพงความเชี่ยวชาญที่เคยช่วยปกป้องไซต์ขนาดเล็กในอดีตก็อ่อนลงอย่างมาก
The Numbers เดินหน้าสร้างใหม่ทั้งหมด
- แม้ไซต์สาธารณะหยุดให้บริการ แต่แหล่งรายได้หลักของ The Numbers ไม่ได้รับผลกระทบ ธุรกิจเองจึงยังดำเนินต่อได้
- ไซต์ฟรีในช่วงไม่กี่ปีที่ผ่านมาไม่ได้พึ่งพาโฆษณาสูงนัก
- ธุรกิจหลักคือ OpusData ที่ขายข้อมูลปริมาณมาก รายงานวิเคราะห์เปรียบเทียบสำหรับผู้สร้างภาพยนตร์และนักลงทุน และ Business Report
- เนื่องจากต้องสร้างเว็บไซต์ที่ให้บริการภาพยนตร์ 78,396 เรื่อง บันทึกการฉาย 178,375 รายการ และบุคคล 236,176 คนขึ้นใหม่ตั้งแต่ต้น จึงไม่สามารถกู้คืนฟีเจอร์ทั้งหมดในครั้งเดียวได้
- ทีมงานแบ่งผู้ใช้ที่เว็บไซต์สาธารณะปี 2026 ต้องรับมือออกเป็นหกกลุ่ม
- มนุษย์
- เสิร์ชเอนจิน
- งานฝึก LLM
- ทราฟฟิก AI ตามพรอมป์ต์
- AI แบบเอเจนต์
- เทรดเดอร์ตลาดคาดการณ์
- หากในอดีตโฟกัสอยู่ที่สามองค์ประกอบคือคอนเทนต์ โฆษณา และ SEO ตอนนี้การตัดสินใจด้านการออกแบบทุกอย่างต้องพิจารณาประมาณ 8~10 องค์ประกอบ
- ไซต์ใหม่ตั้งเป้ารองรับผู้ใช้ทั้งหกประเภท พร้อมเพิ่มบริการ OpusData และฟังก์ชันสำหรับสมาชิก Business Report และคืนข้อมูลเดิมแก่ผู้ใช้ทั่วไปในรูปแบบที่ปรับปรุงแล้ว
ต้นทุนการ crawl และผู้เยี่ยมชมที่ไม่กลับมา
- ในสถิติรายแพลตฟอร์มของ Cloudflare ปริมาณการ crawl ที่ไซต์ต้องยอมให้เพื่อได้ผู้เยี่ยมชมที่ถูกส่งต่อมา 1 คนแตกต่างกันมาก
- Google เก็บข้อมูลประมาณ 5 หน้า ต่อผู้เยี่ยมชม 1 คน
- OpenAI เก็บข้อมูลมากกว่า 1,000 หน้า
- Anthropic เก็บข้อมูลมากกว่า 38,000 หน้า
- ความสัมพันธ์แบบแลกเปลี่ยนของเว็บเปิด ที่เสิร์ชเอนจินอ่านคอนเทนต์แล้วส่งผู้อ่านกลับมา ไม่ทำงานกับ AI crawler
- การเก็บข้อมูลจำนวนมากเพิ่มต้นทุนแบนด์วิดท์ของไซต์ขนาดเล็ก และอาจทำให้บริการทั้งหมดหยุดได้
ความเสียหายจากการเก็บข้อมูลขนาดใหญ่ที่ไซต์อื่นประสบ
- ที่ Read the Docs crawler รายหนึ่งดาวน์โหลด HTML ที่บีบอัดแล้ว 73TB ในหนึ่งเดือน ทำให้เกิดค่าแบนด์วิดท์มากกว่า 5,000 ดอลลาร์
- iFixit บันทึกคำขอ 1 ล้านครั้งในหนึ่งวันจาก crawler ของ Anthropic
- Triplegangers ผู้ขายสแกน 3D ที่มีพนักงาน 7 คน หยุดให้บริการในเวลาทำการเพราะบอตของ OpenAI และ CEO ประเมินว่าแทบไม่ต่างจากการโจมตี DDoS
- ผู้ดูแล SourceHut ใช้เวลาทำงาน 20~100% ในแต่ละสัปดาห์รับมือ AI crawler และเจอขัดข้องสั้น ๆ หลายสิบครั้งต่อสัปดาห์
- เว็บไซต์ข่าว Linux อย่าง LWN มองว่าทราฟฟิก crawler จาก IP หลายล้านรายการเป็นการโจมตีปฏิเสธการให้บริการแบบกระจาย
- ประมาณ 97% ของทราฟฟิกที่โปรเจกต์โอเพนซอร์ส GNOME วัดได้เป็นบอต
- ห้องสมุดมหาวิทยาลัยแห่งหนึ่งบล็อก IP 16,000 รายการ ภายใน 48 ชั่วโมงเพื่อรักษาบริการแคตตาล็อกไว้
ต้นทุนและจำนวนผู้อ่านที่ลดลงของ Wikipedia
- Wikimedia Foundation ประเมินในเดือนเมษายน 2025 ว่าบอตคิดเป็นประมาณ 35% ของ page view บน Wikipedia แต่ในทราฟฟิกที่มีต้นทุนประมวลผลสูงสุด บอตมีสัดส่วนอย่างน้อย 65%
- เพราะ crawler กวาดเอาหน้าจำนวนมากที่มนุษย์แทบไม่อ่านไปด้วย สัดส่วนต้นทุนจึงสูงกว่า
- อีก 6 เดือนต่อมา page view จากมนุษย์ของ Wikipedia ลดลงประมาณ 8% เมื่อเทียบกับปีก่อน
- ผู้ใช้รับความรู้จากสรุปของ AI มากขึ้นโดยไม่เข้าชม Wikipedia โดยตรง
- ระบบ AI ดึงคอนเทนต์ไปในปริมาณมาก พร้อมกันนั้นก็ลดจำนวนผู้อ่านที่ไซต์ต้นทางควรได้รับ
สถานการณ์ที่สมมติฐานของอินเทอร์เน็ตเดิมพังทลาย
- เครื่องมือ AI ทรงพลังแต่ก็สร้างความเสียหาย และกำลังถูกทดสอบแบบเรียลไทม์ในสภาพแวดล้อมจริงโดยสาธารณชน
- เว็บเปิดแบบเดิมถูกสร้างบนสมมติฐานต่อไปนี้ แต่ทั้งหมดไม่ตรงกับสถานการณ์ปัจจุบันแล้ว
- ผู้เยี่ยมชมส่วนใหญ่เป็นมนุษย์
- ทราฟฟิกโดยรวมแปรผันตามจำนวนผู้อ่าน
- ต้นทุนในการให้บริการไซต์เชื่อมโยงกับมูลค่าที่ผู้ดำเนินการได้รับ
- แยกจากประเด็นว่าจะยอมรับหรือปฏิเสธประโยชน์ของ AI เว็บในปัจจุบันไม่ได้เตรียมพร้อมต่อพลังและขนาดของโมเดล AI ที่ใครก็เข้าถึงได้
การคิดค่า crawl และการทดลองบล็อกเป็นค่าเริ่มต้น
- Cloudflare เปิดตัว pay-per-crawl ให้ไซต์คิดค่าใช้จ่ายต่อหน้ากับ AI crawler
- หลังจากนั้นได้ประกาศโมเดล pay-per-use ที่จ่ายเงินให้ผู้เผยแพร่เมื่อคอนเทนต์ถูกใช้จริงในคำตอบของ AI
- ตั้งแต่วันที่ 15 กันยายน หน้าเว็บที่อิงโฆษณาของลูกค้า Cloudflare จะบล็อก crawler
mixed-useที่ไม่จ่ายเงินเป็นค่าเริ่มต้น - ความสำเร็จหรือความล้มเหลวของนโยบายเหล่านี้ขึ้นอยู่กับว่าบริษัท AI จะไม่หลบเลี่ยงทางเทคนิคและเข้าร่วมระบบคิดค่าใช้จ่ายหรือไม่
คำเตือนต่อเว็บไซต์อิสระทั้งหมด
- The Numbers สูญเสียไซต์ทั้งหมดระหว่างทราฟฟิกเครื่องจักรที่มากเกินไปกับความเป็นไปได้ของการบุกรุก แต่เพราะเว็บไซต์สาธารณะไม่ใช่ทั้งธุรกิจ จึงยังอยู่รอดได้
- บริษัทสิ่งทอเยอรมัน ZEGO ดำเนินกิจการมา 37 ปี แต่หลังการโจมตีไซเบอร์ในเดือนมีนาคมทำให้การผลิตหยุด 6 สัปดาห์ ก็ยื่นล้มละลาย
- คลังข้อมูลอิสระ ฐานข้อมูลงานอดิเรก ข่าวท้องถิ่น ฟอรัม และไซต์อ้างอิง เก็บรักษาความรู้ร่วมที่สั่งสมมา โดยพึ่งพาโค้ดเก่าและทีมเล็กหรือผู้ดูแลรายบุคคล
- The Numbers กำลังกู้คืนด้วยโครงสร้างที่ดีกว่า และการยังคงใช้งานและสนับสนุนไซต์ขนาดเล็กที่สร้างขึ้นเพื่ออินเทอร์เน็ตแบบเดิมเชื่อมโยงโดยตรงกับการอยู่รอดของไซต์เหล่านั้น
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ถ้าถามอย่างจริงจัง ตลาดพยากรณ์ อาจกลายเป็นแหล่งรายได้ใหม่ให้ TheNumbers.com ได้ไหม? เป็นไปได้ว่าผู้โจมตีบางส่วนพยายามเอาตัวเลขก่อนเผยแพร่ไปเดิมพันในตลาดพยากรณ์ด้วยข้อมูลที่แน่นอน
นี่เป็นการซื้อขายโดยใช้ข้อมูลวงในอย่างชัดเจนและผิดจริยธรรมมาก แต่ CEO ของ PolyMarket ก็เคยบอกว่าการซื้อขายโดยใช้ข้อมูลวงในเป็นส่วนหนึ่งของเจตนารมณ์ของบริการ: https://youtu.be/ZN4njIQcSR4?si=ztyTtgjeHSJbNjSZ&t=1566
ประเด็นสำคัญไม่ได้มีแค่ว่าเอเจนต์ถล่มเว็บ แต่คือมี ช่องโหว่ที่อาจถูกนำไปใช้ในทางที่ผิด อยู่ด้วย นี่เป็นเหตุผลที่เว็บหยุดให้บริการไปพักหนึ่งแล้วกลับมาพร้อมข้อมูลและดีไซน์ที่ถูกลดทอนลงอย่างมาก
หากผู้ใช้ประสงค์ร้ายเข้าถึงข้อมูลก่อนเผยแพร่ของ The Numbers ได้ ก็จะรู้คำตอบล่วงหน้าก่อนเทรดเดอร์คนอื่นทุกสัปดาห์และทำการซื้อขายล่วงหน้าได้
เมื่อเห็นข้อสันนิษฐานใน Reddit ว่านี่เป็นการทำลายเว็บฟรีอย่างตั้งใจเพื่อไล่ผู้ใช้ไปยังผลิตภัณฑ์แบบเสียเงิน ก็ทำให้กังวลว่าในอนาคตทรัพยากรฟรีจะยิ่งลดลง
เมื่อก่อนเคยเปิดซอร์สเครื่องมือเล็ก ๆ ด้วยหวังว่าจะมีคนเอาไปใช้แก้ปัญหาคล้ายกัน แต่ตอนนี้ ไม่ค่อยอยากมีส่วนร่วมกับเว็บฟรี แล้ว เพราะรู้ว่ามันจะถูกดูดไปเป็นข้อมูลฝึกและต่อมาถูกนำไปสร้างรายได้ ผู้ดูแลเว็บฟรีที่มีประโยชน์ย่อมมีเหตุให้โกรธ
ไม่ได้จบแค่งานของคุณถูกใช้ในแบบที่ไม่น่าพอใจ แต่ยังทำให้ต้นทุนและเวลาบำรุงรักษาเพิ่มขึ้นจนเกิดความเสียหายจริง
หลายปีก่อนช่วงโควิด-19 เคยทำเว็บให้ค้นหาเงินช่วยเหลือธุรกิจขนาดเล็กของรัฐบาลสหรัฐฯ และเงินกู้ฉ้อโกงที่ DOJ ฟ้องร้อง ข้อมูลสาธารณะทั้งหมดราว 10GB ดาวน์โหลดได้ฟรี และมีเงินสนับสนุนสะสมราว 2,000 ดอลลาร์
แต่ครอว์เลอร์ AI ไม่ใช้ลิงก์ดาวน์โหลดทั้งหมดบนหน้าแรก กลับไล่เปิดหน้าเว็บตามทุกชุดเงื่อนไขการค้นหาและดาวน์โหลด HTML หลายสิบเทราไบต์ ไป แม้มีแคช CloudFront และแบ็กเอนด์ที่มีประสิทธิภาพ ต้นทุนเครือข่ายต่อเดือนอย่างเดียวก็ราว 1,000 ดอลลาร์ จึงปิดเว็บในเดือนถัดมา
แต่ถ้าพลาดจ่ายเงิน เซิร์ฟเวอร์อาจถูกลบภายในประมาณหนึ่งสัปดาห์ ดังนั้นห้ามค้างชำระเด็ดขาด
เราอาจต้องมี แพตเทิร์นเทคโนโลยีและไลบรารีโอเพนซอร์ส เพื่อรับมือกับองค์ประกอบทราฟฟิกที่เปลี่ยนไปหรือไม่? เว็บเล็ก ๆ และครีเอเตอร์หลายล้านรายไม่มีศักยภาพจะป้องกันการเข้าถึงอัตโนมัติขนาดใหญ่ด้วยตัวเอง และยิ่งคอนเทนต์มีประโยชน์เท่าไร ก็ยิ่งถูกครอว์ลอย่างก้าวร้าว ทำให้ต้นทุนดำเนินงานและความไม่เสถียรสูงขึ้น
จำเป็นต้องมีเครื่องมือบริหารจัดการระดับชุมชนที่ครอบคลุมการระบุเอเจนต์ การจำกัดอัตรา การจำแนกทราฟฟิก นโยบายการเข้าถึง แคช ขั้นตอนตรวจสอบ การล็อก การยืนยันแหล่งที่มา และการควบคุมการใช้งาน แทนที่ผู้ดูแลแต่ละคนจะสร้างใหม่เอง ควรมีกฎกลางที่แข็งแรงซึ่งเหมาะกับทราฟฟิกอัตโนมัติในปัจจุบัน
ยังมีบริษัทที่ขายสิทธิ์เข้าถึงพร็อกซีจากสมาร์ตทีวีและโทรศัพท์มือถือที่ติดมัลแวร์อย่างเปิดเผย ดังนั้นอาจสร้างฐานข้อมูล IP เหล่านั้นเพื่อบล็อกได้หรือไม่? หากใช้หน้าคำแนะนำตอนถูกบล็อกให้ตรวจหาอุปกรณ์ติดเชื้อในบ้าน ก็อาจแก้ได้ตั้งแต่ต้นตอ: https://news.ycombinator.com/item?id=49000864
สุดท้ายก็ต้องกลับไปใช้วิธีควบคุมทราฟฟิกถล่มแบบเดิม เครื่องมือที่เสนอถูกใช้มาหลายสิบปีเพื่อรับมือ Slashdot effect, DDoS และการครอว์ลของเสิร์ชเอนจินที่มากเกินไป และบริษัทอย่าง Cloudflare ก็เป็นผู้นำด้านนี้อยู่แล้ว
บริษัท AI นั้น โยนต้นทุนให้สังคม แต่เก็บกำไรไว้เอง จริง ๆ เว็บอย่าง The Numbers ต้องแบกรับค่าใช้จ่ายในการทนรับการโจมตีจาก AI แต่ไม่ได้อะไรคืนจากบริษัท AI เลย
ถ้าครอว์เลอร์จ่ายค่าไลเซนส์เพื่อใช้ข้อมูลคุณภาพสูงทั้งหมดก็ไม่เป็นไร แต่ประเด็นสำคัญคือพวกเขาเริ่มถึงขั้นหาช่องโหว่เพื่อเข้าถึงข้อมูลก่อนเผยแพร่
พื้นที่สาธารณะฟรีดูเหมือนเป็นไซต์ที่เหมาะมากสำหรับสร้างใหม่ด้วย static site generator แล้วผสานกับ CDN ที่ตรวจจับบอตได้ แบบนั้นน่าจะเปิดให้บริการได้นานด้วยต้นทุนที่สมเหตุสมผล
และก็อยากรู้ด้วยว่าพวกเขาใช้สถาปัตยกรรมเดิม/ใหม่ รวมถึงกลยุทธ์บรรเทาและขยายระบบแบบใดเพื่อคงไซต์ไว้
แม้แต่ไซต์ PHP แบบหลวม ๆ ในยุค 2000 ก็ยังรองรับได้ราว 200 รายการต่อวินาที ส่วนไซต์แบบ static รองรับได้มากกว่า 1,000 รายการ และ Node.js ก็ชูจุดขายเรื่อง cooperative threading ที่ทำได้ 100,000 รายการต่อวินาที ในทางกลับกัน เว็บไซต์ทุกวันนี้รัน query ฐานข้อมูลเป็นร้อยถึงพันครั้งเพราะ ORM และปัญหา N+1 ทำให้การตอบสนองใช้เวลาเกิน 500ms และแม้มีผู้ใช้พร้อมกัน 1,000 คนก็เริ่มรู้สึกเป็นภาระ
Russian doll cache ที่ไม่ขึ้นกับภาษาและฐานข้อมูล รวมถึงการทำ cache invalidation ของข้อมูลที่พึ่งพากันอย่างถูกต้อง ยังไม่แพร่หลายทั่วไป เคยลองถึง touch event ของ Laravel และ Redis query cache แล้ว แต่ cache invalidation แทบจะยังเป็นปัญหาที่ยังแก้ไม่ตก และไม่ควรลงมือทำเอง ควรพิจารณากลยุทธ์อย่างการใช้แพ็กเกจและ sharding ตั้งแต่แรก
เว็บควรจะกลายเป็นพื้นที่จัดเก็บแบบ P2P ที่อ้างอิงเนื้อหาด้วย content address ซึ่งรับคอนเทนต์จาก peer ใกล้เคียงเหมือน BitTorrent แต่ HTTPS/SSL และโมเดลความปลอดภัยของเบราว์เซอร์เป็นอุปสรรค อาจถึงขั้นต้องใช้ trust network หรือ zero-knowledge proof ด้วย ดังนั้นในระยะหนึ่งคงต้องติดอยู่กับ หน้าจอยืนยันว่าเป็นมนุษย์ แบบเชย ๆ ต่อไป
ในปี 2015 ผมเริ่มทำ Applaudience ซึ่งตอนนั้นเป็นรายเดียวที่ให้บริการ ข้อมูลยอดขายตั๋วภาพยนตร์แบบเรียลไทม์ และในขั้นตอนปรับเทียบก็มักนำไปเทียบกับตัวเลขของ TheNumbers.com
ตอนนี้ทำธุรกิจอื่นอยู่ แต่ในบรรดาเทคโนโลยีที่สร้างเอง มันยังเป็นสิ่งที่ผมชอบที่สุด จึงอยากชุบชีวิตมันขึ้นมาอีกสักวัน
ครอว์เลอร์ของบริษัท AI รายใหญ่สามารถบล็อกได้โดยกำหนด
Disallow: /ในrobots.txtให้กับClaudeBot,Claude-SearchBot,Claude-User,GPTBot,OAI-SearchBot,PerplexityBot,Google-Extended,Google-Extended-Factual,Bingbotแต่ละตัวcrawl-delayเพื่อปรับให้เหมาะกับสภาพเซิร์ฟเวอร์ได้ก็คงดี แต่ไม่รองรับ: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec#syntaxถ้าบล็อก ทราฟฟิกจากการค้นหาก็น่าจะยิ่งลดลงด้วย
ส่งผลให้ URL ของไดเรกทอรีย่อยส่วนใหญ่มี คำขอที่ไม่จำเป็นเพิ่มขึ้นอีกหนึ่งครั้ง
ผมดูแลไซต์เล็ก ๆ http://radar.lv ที่เก็บรายการวิทยุภาษารัสเซียเก่า ๆ ไว้ เมื่อก่อนทราฟฟิกจากสหรัฐฯ มี 5% แต่ช่วงหลัง 90% มาจากสหรัฐฯ
โชคดีที่รองรับได้ถึงเดือนละ 1TB และไม่ได้คัดค้านการครอว์ลโดยตัวมันเอง แต่กังวลเรื่องเสถียรภาพสำหรับผู้เข้าชมจริง กำลังลังเลว่าจะเปิดฟีเจอร์ pay-per-crawl ที่ Cloudflare เพิ่งทำขึ้นมาหรือไม่
บล็อกส่วนตัวใช้ static generator แต่ปัญหาคืออาร์ไคฟ์นี้ใช้ Drupal รุ่นเก่า ที่ไม่มีแพตช์ความปลอดภัยมาหลายปีแล้ว