- บล็อกส่วนตัว blog.james-zhan.com ถูก ลบออกจากดัชนีค้นหาของ Google ทั้งหมด หลังเปิดได้เพียงหนึ่งเดือน
- ทันทีหลังจากตรวจสอบ URL ของ RSS feed ผิดพลาดใน Google Search Console (GSC) ทุกโพสต์ก็แสดงสถานะเป็น “Crawled – currently not indexed”
- มีการตรวจสอบ สาเหตุที่เป็นไปได้หลายอย่าง เช่น การตั้งค่าโดเมน คุณภาพคอนเทนต์ และโครงสร้างลิงก์ภายใน แต่ยืนยันว่าไม่มีปัญหา
- ด้วยความช่วยเหลือจาก Herman ผู้ก่อตั้ง Bear Blog จึง ตัดประเด็นเรื่อง DNS, HTML/CSS และปัญหาของแพลตฟอร์มออกไปได้ และในเสิร์ชเอนจินอื่นก็ยังถูกจัดทำดัชนีตามปกติ
- สุดท้ายจึงตัดสินใจย้ายบล็อกไปยังซับโดเมนใหม่และ ปล่อยให้ Google จัดทำดัชนีแบบธรรมชาติเอง โดยสาเหตุยังคงไม่ชัดเจน
สถานการณ์เริ่มต้น
- บล็อกถูกเปิดเมื่อวันที่ 4 ตุลาคม และเผยแพร่ บทความแนวคอลัมน์วิเคราะห์เหตุการณ์ปัจจุบัน ชิ้นแรก
- เมื่อส่ง sitemap ไปยัง Google Search Console (GSC) และขอจัดทำดัชนี วันถัดมาก็ปรากฏในผลการค้นหาทันที
- หลังจากนั้นทุกครั้งที่ลงบทความใหม่ก็ส่งคำขอจัดทำดัชนีซ้ำ และถูกสะท้อนในผลค้นหาตามปกติ
ปัญหาเกิดขึ้น
- วันที่ 14 ตุลาคม หลังเห็นข้อความใน GSC ว่ามี URL หนึ่งไม่ได้ถูกจัดทำดัชนี จึง กดปุ่ม “Validate”
- URL ดังกล่าวคือ RSS feed (
feed/?type=rss) ไม่ใช่หน้าจริง
- วันที่ 20 ตุลาคม หลังได้รับอีเมลจาก GSC ว่า “การแก้ไขบางส่วนล้มเหลว” ทุกโพสต์ก็ถูกยกเลิกการจัดทำดัชนี
- ข้อความสถานะคือ “Page is not indexed: Crawled – currently not indexed”
- การส่ง sitemap ซ้ำและขอจัดทำดัชนี URL รายตัวก็ไม่ได้ผล
การตามหาสาเหตุ
- วันที่เริ่มการตรวจสอบการจัดทำดัชนี กับ วันที่โพสต์ทั้งหมดกลายเป็นไม่ถูกจัดทำดัชนี เป็นวันเดียวกัน
- จึงยังไม่ชัดเจนว่าความพยายามตรวจสอบ RSS feed เป็นต้นเหตุหรือไม่
- หลังจากนั้นบทความที่เผยแพร่ใหม่ทั้งหมดก็ยังคงอยู่ในสถานะข้อผิดพลาดเดียวกัน
- วันที่ 3 พฤศจิกายน แม้แต่โพสต์สุดท้ายที่ยังเหลืออยู่ก็ถูกยกเลิกการจัดทำดัชนี
ตรวจสอบสาเหตุที่เป็นไปได้
- ปัญหาโดเมน:
james-zhan.com ที่ใช้งานผ่าน GoDaddy ถูกจัดทำดัชนีได้ตามปกติบนซับโดเมนอื่น → ไม่ใช่สาเหตุ
- คุณภาพคอนเทนต์: เมื่อเทียบกับกรณีอื่นของ Bear Blog ก็ไม่พบปัญหาเรื่องปริมาณหรือคุณภาพคอนเทนต์ → ไม่ใช่สาเหตุ
- ลิงก์ภายในไม่เพียงพอ: โครงสร้างพื้นฐานของ Bear Blog เหมือนกันทั้งหมด และบล็อกอื่นยังถูกจัดทำดัชนีตามปกติ → ไม่ใช่สาเหตุ
- ปัจจัยอื่น: จากการตรวจสอบของ Herman ผู้ก่อตั้ง Bear Blog
- DNS, HTML/CSS และการตั้งค่าแพลตฟอร์มทั้งหมดเป็นปกติ
- โค้ด CSS แบบกำหนดเองของผู้ใช้ก็ไม่ส่งผลต่อการจัดทำดัชนี
เสิร์ชเอนจินอื่นและมาตรการที่ทำ
- ใน DuckDuckGo, Bing, Brave เป็นต้น บล็อกยังถูกจัดทำดัชนีตามปกติ
- จึงคาดว่าเป็นปัญหาฝั่ง Google มากกว่าความผิดพลาดทางเทคนิค
- มีการย้ายบล็อกไปยัง ซับโดเมนใหม่ (journal.james-zhan.com) และ
- ย้ายโดเมนจาก GoDaddy ไปยัง Porkbun
- ตั้งค่า URL forwarding เพื่อให้ลิงก์เดิมเชื่อมต่อไปยังบล็อกใหม่โดยอัตโนมัติ
- สำหรับบล็อกใหม่ ไม่ได้ส่ง sitemap เข้า GSC แต่ ปล่อยให้ถูกจัดทำดัชนีแบบธรรมชาติเอง
- จนถึงตอนนี้ก็ยังไม่ทราบสาเหตุ และผู้เขียนตั้งคำถามต่อ ความไม่โปร่งใสของระบบจัดทำดัชนีของ Google
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ฉันควบคุม AI Overview ไม่ได้ แต่พอเพิ่ม
noindexให้หน้าค้นหา ทราฟฟิกก็ฟื้นกลับมาภายในหนึ่งสัปดาห์รายละเอียดอยู่ในโพสต์บล็อกของฉัน
/searchน่าจะถูกแคชแล้วเปิดให้ crawler เห็นไม่ควรแคชหน้าค้นหา และควรใช้ X-Robots-Tag สำหรับ noindex
ต่อไปคงต้องติดตามทราฟฟิกด้วย เครื่องมือวิเคราะห์ ของตัวเอง
ตอนนี้คนเห็นแค่สรุปกับโฆษณาแล้วก็จากไป
เป็นไปได้ไหมว่ามีเว็บไซต์อื่นลิงก์มาที่ URL ค้นหานั้น เลยถูก crawl?
ถ้า Google ใส่ ลิงก์แหล่งที่มา ไว้ในประโยคสรุป อัตราการคลิกก็น่าจะฟื้นขึ้นมาได้บ้าง
เวลาสถานะโดนลงโทษ เราไม่รู้เหตุผล และก็อุทธรณ์ไม่ได้
Google ทำหน้าที่เป็น gatekeeper โดยพฤตินัย
ในเมื่อมันทำงานเหมือนสาธารณูปโภค ก็ควรมี ระบบสนับสนุนและความรับผิดชอบ ที่สมน้ำสมเนื้อ
กฎระเบียบอาจไม่ใช่คำตอบของทุกอย่าง แต่บริษัทระดับสาธารณูปโภคแบบนี้ควรมีอย่างน้อย หน้าที่รับประกันการเข้าถึง
ตอนนี้มันเป็นโครงสร้างที่ต้องจ่ายค่าโฆษณาถึงจะมองเห็นในผลค้นหา
ผลคือหน้าที่ถูกทำดัชนีลดจากหลักพันเหลือ 100 หน้า
ดูภาพหน้าจอ
ผ่านไป 6 เดือนก็ยังไม่ฟื้น โชคดีที่เป็นโปรเจกต์ส่วนตัว แต่ถ้าเป็นธุรกิจฉันคงเดือดมาก
ภาพหน้าจออัปเดต
พอดำเนินการไปได้สักระยะ บางทีก็ถูกยอมรับเป็น ‘สิทธิการใช้งานเดิม’
ฉันเคยเห็นถึงขั้นมีการยื่น ภาพหน้าจอ Google Maps เป็นหลักฐานในศาล
สุดท้ายกลับเป็น มิจฉาชีพ เขาทำกุญแจพังแล้วเรียกเงิน 600 ดอลลาร์
พอฉันรายงาน Google ก็ลบออกอย่างรวดเร็ว แต่ฉันคิดว่าสิ่งแบบนี้ควรมี การยืนยันตัวตนจริง ตั้งแต่ตอนลงทะเบียน
แต่ปัญหาคือโลกความจริงบางทีก็เปลี่ยนไปตามแผนที่
ในกระบวนการทางปกครอง มักมีกรณีที่ปล่อยผ่านด้วยทำนองว่า “ถ้าไม่มีใครร้องก็ถือว่าไม่เป็นไร”
เว็บไซต์ของฉันถูกมองผิดว่าเป็นคอนเทนต์ซ้ำจน ถูกถอดออกจากดัชนี
ใน Bing ไม่มีปัญหา แต่ Google กลับพลาดแบบนี้
ส่วนหน้า Reddit กลับแสดงแต่เวอร์ชันที่ถูกแปลเป็นภาษาแปลก ๆ
น่าจะเป็นเพราะ ตรรกะการลบข้อมูลซ้ำ ทำงานผิดพลาด
ถ้ามี reverse proxy จากโดเมนอื่น Google จะทำดัชนีซ้ำ
ควรใช้ canonical tag และลิงก์แบบ absolute path
เป็นบล็อกที่ไม่มีปัญหามา 17 ปีแล้ว
พอสแปมเยอะขึ้น false positive ก็น่าจะเพิ่มตาม
วิธีแบบนี้กลับยิ่งทำให้ สัดส่วนคอนเทนต์ปกติลดลง เสียอีก
เหมือนกันตรงที่ Google มี โครงสร้างที่เป็นคนตัดสินว่าใครจะอยู่รอด
ความผิดพลาดของ RSS อาจเป็นแค่ ตัวจุดชนวนของความไม่ใส่ใจ
Google Maps ตามขึ้นมาได้เร็วขนาดนั้นเลยหรือ?
อิทธิพลของ Instagram หรือ TikTok ก็ไม่ควรถูกมองข้าม
การตีความแบบโยนอำนาจให้ Google มากเกินไปก็ดูจะ ให้อำนาจกับมันเกินจริง
สุดท้ายก็กลายเป็นปัญหาแบบ ไก่กับไข่อะไรเกิดก่อนกัน
เว็บไซต์เล็กไม่ถูกมองเห็นจึงเติบโตไม่ได้
ส่วนเว็บไซต์ใหญ่ก็ยังอยู่บนอันดับสูงต่อไปโดยไม่มีปัญหา