บอต บอตมากเกินไป

 (wakatime.com)
1 คะแนน โดย GN⁺ 2024-10-02 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บอต บอตมากเกินไป

เริ่มต้น

  • ProductHunt มีผู้ใช้สมัครใช้งานมากกว่า 1 ล้านคน
  • ในจำนวนนั้นมากกว่า 60% เป็นบอต

เรื่องเริ่มต้นแบบนี้

  • ใช้ ProductHunt มาตั้งแต่ปี 2014
  • ช่วงหลังมานี้รู้สึกว่าคอมเมนต์ส่วนใหญ่เหมือนถูกสร้างด้วย ChatGPT

การทดสอบง่าย ๆ

  • ปล่อยผลิตภัณฑ์โดยแทรก prompt ของ LLM ไว้ในคำอธิบายผลิตภัณฑ์
  • ยืนยันได้ว่าคอมเมนต์แทบทั้งหมดเป็นระบบอัตโนมัติ

แยกบอตออกได้หรือไม่?

  • การตอบคอมเมนต์เป็นการเสียเวลา
  • ถ้ามีบอตจำนวนมากคอมเมนต์อยู่ ก็น่าจะกำลังกดโหวตด้วยเช่นกัน
  • ยังมีคนที่จ่ายเงินเพื่อซื้อ upvote ด้วย

การวิเคราะห์ข้อมูล

  • วิเคราะห์รายการผู้ใช้ การเปิดตัวผลิตภัณฑ์ upvote และคอมเมนต์ของ ProductHunt
  • มีผู้ใช้สมัครมากกว่า 1 ล้านคน การเปิดตัวมากกว่า 300,000 รายการ คอมเมนต์ 2.5 ล้านรายการ และ upvote 20 ล้านครั้ง
  • แต่ละผลิตภัณฑ์มีอันดับรายวัน ซึ่งเป็นคะแนนหลังผ่านไป 24 ชั่วโมงนับจากเวลาเที่ยงคืน PDT ของแต่ละวัน

การตรวจจับบัญชีบอต

  • การตรวจจับบอตเป็นเรื่องยาก
  • พยายามหาความผิดปกติด้วยการวิเคราะห์ช่วงเวลาที่ผู้ใช้คอมเมนต์
  • ตัวอย่างเช่น ผู้ใช้รายหนึ่งสมัครมาแล้ว 677 วัน คอมเมนต์ 2,009 ครั้ง และกด upvote 4,649 ครั้ง
  • นี่คือการใช้ระบบอัตโนมัติ แต่ไม่ใช่บอต
  • ผู้ใช้แบบบอตสมัครมาแล้ว 140 วัน คอมเมนต์ 173 ครั้ง และกด upvote 246 ครั้ง
  • คอมเมนต์ของบอตจะถูกโพสต์เป็นช่วงห่างที่สม่ำเสมอ และกราฟจะไม่เรียบแต่เป็นทรงกล่อง
  • ให้คะแนนความเสี่ยงแก่ผู้ใช้ตามเกณฑ์หลายอย่าง
  • คอมเมนต์ที่สร้างด้วย ChatGPT ใช้คำอย่าง "game-changer" บ่อยกว่า
  • คอมเมนต์ของบอตมีอักขระหรือชื่อผลิตภัณฑ์ที่พิมพ์เองได้ยากรวมอยู่ด้วย
  • การทำคลัสเตอร์ช่วยได้ในระดับหนึ่ง แต่บัญชีบอตจำนวนมากถูกใช้แล้วทิ้ง
  • สุดท้ายตรวจพบว่ามากกว่า 60% ของบัญชีผู้ใช้ที่สมัครเป็นบัญชีบอตอัตโนมัติ

การเปลี่ยนแปลงของกิจกรรมบอตตามเวลา

  • หลังปี 2018 มีการสร้างผู้ใช้บอตมากกว่าผู้ใช้จริง
  • ตั้งแต่ปลายปี 2022 คอมเมนต์จากบอตพุ่งขึ้นอย่างรวดเร็ว
  • ในปี 2022 upvote จากบอตก็แซง upvote จากผู้ใช้จริงแล้ว
  • บอตรวมตัวกันเป็นวงโหวต และผู้สร้างก็ซื้อ upvote
  • ผลิตภัณฑ์ที่เปิดตัวส่วนใหญ่ได้รับ upvote จากผู้ใช้จริงเพียงไม่กี่ครั้ง
  • หากต้องการขึ้นอันดับ 1 รายวัน ต้องมี upvote จากบอต 15%
  • มากกว่า 60% ของ upvote จากบอตก็ยังไม่สามารถทำให้อันดับ 1 ได้

ความคิดส่งท้าย

  • อยากทำรายการเปิดตัวผลิตภัณฑ์โดยตัด upvote จากบอตออก แต่มีเวลาไม่พอ จึงเลื่อนไปเป็นโพสต์บล็อกถัดไป

สรุปโดย GN⁺

  • มากกว่า 60% ของผู้ใช้ ProductHunt เป็นบัญชีบอต
  • คอมเมนต์และ upvote จากบอตบิดเบือนกิจกรรมของผู้ใช้จริง
  • การตรวจจับบอตทำได้ยาก แต่สามารถให้คะแนนความเสี่ยงจากหลายเกณฑ์เพื่อช่วยตรวจจับได้
  • เมื่อกิจกรรมของบอตเพิ่มขึ้น ความน่าเชื่อถือของ ProductHunt อาจลดลง
  • ผลิตภัณฑ์อื่นที่มีลักษณะคล้ายกันคือ Hacker News

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-10-02
ความเห็นจาก Hacker News

  • การวิเคราะห์ที่เริ่มต้นจากการจัดประเภทแบบตามอำเภอใจว่าผู้ใช้เป็นบอตหรือไม่เป็นปัญหา ถ้าการจัดประเภทนี้ผิด การวิเคราะห์ทั้งหมดก็ผิด

    • ตัวอย่างเช่น ช่วงปลายปี 2022 คอมเมนต์บอตพุ่งขึ้นอย่างมาก ซึ่งตรงกับช่วงที่ ChatGPT เริ่มถูกใช้อย่างแพร่หลาย
    • คอมเมนต์ที่สร้างโดย ChatGPT มักใช้คำอย่าง "game-changer" บ่อย และคอมเมนต์บอตมักใส่อักขระหรือชื่อผลิตภัณฑ์ที่พิมพ์ยากตามเดิม
    • ดังนั้นจึงอาจจัดผู้ใช้ที่มีพฤติกรรมเหมือน ChatGPT เป็นบอต และคิดว่าผู้ใช้แบบนี้เพิ่มขึ้นหลัง ChatGPT เปิดตัว แต่ก็เป็นไปได้ว่าก่อนหน้านั้นมีบอตอยู่แล้วจำนวนมาก

  • สงสัยว่า ProductHunt ใช้โซลูชัน CAPTCHA หรือไม่

    • CAPTCHA ยังมีประโยชน์ในการป้องกันการโจมตีแบบสแปมอยู่
    • คำวิจารณ์ทั่วไปคือเรื่องการใช้งาน การเข้าถึง และความเป็นส่วนตัว ผู้ใช้ไม่ชอบมัน
    • ในช่วงไม่กี่ปีที่ผ่านมา มี CAPTCHA ที่ทำงานได้โดยไม่ต้องให้ผู้ใช้ป้อนข้อมูลและยังคุ้มครองความเป็นส่วนตัว
    • บอตระดับสูงสามารถข้าม CAPTCHA ได้ง่าย แต่เทคนิคดั้งเดิมก็ยังมีประโยชน์ในการกันบอตระดับล่าง ส่วนบอตระดับสูงอาจต้องรับมือด้วยเทคโนโลยีที่ก้าวหน้ากว่าอย่าง ML
    • CAPTCHA ใช้ไม่ได้ผลกับการโจมตีที่ใช้มนุษย์จริง ซึ่งต้องใช้กลไกแบบอื่น

  • ตอนโพสต์ผลิตภัณฑ์บน ProductHunt เมื่อ 5 ปีก่อน ได้รับข้อความหลายสิบข้อความที่รับประกันว่าจะทำให้ได้อันดับหนึ่ง ตอนนี้น่าจะแย่กว่านั้นอีก

  • สงสัยว่ามีใครอยู่บน ProductHunt บ้าง ลูกค้าหรือ ไม่น่าใช่ Indiehackers หรือ อาจจะ แล้วขายให้ใครกันแน่ และคุ้มไหมที่จะเปิดตัวบน ProductHunt

  • เห็นได้ชัดถึงความพยายามและผลลัพธ์ของคนที่รู้จักเป็นการส่วนตัว ทำได้ดีมาก

  • นี่คือพัฒนาการของ "ทฤษฎีอินเทอร์เน็ตที่ตายแล้ว" ถ้าจะรับประกันปฏิสัมพันธ์ที่แท้จริงได้ ก็ต้องมีตัวตนที่แข็งแรงและเชื่อถือได้ซึ่งมีผลตามมาหากถูกนำไปใช้ในทางที่ผิด

    • รัฐบาลควรเป็นผู้ดำเนินการเรื่องนี้ บริษัทเทคขนาดใหญ่ยังแก้ปัญหานี้ไม่ได้ และก็ไม่แน่ใจว่ามีความตั้งใจจะแก้จริงหรือไม่
    • ตัวอย่างเช่น ถ้า Google กวาดล้างเรื่องนี้อย่างจริงจัง แล้ว 60-80% ของทราฟฟิก YouTube เกิดจากบอต รายได้ก็จะหายไป

  • มีโพสต์บางอันบน Reddit ที่บางครั้งบอตที่ใช้ GPT จะคอมเมนต์ประมาณว่า "หัวข้อนี้เหรอ ว้าว! ชวนให้คิดจริง ๆ เลยนะ อยากรู้ว่าทำไมมันถึงสำคัญ"

    • เป็นไปได้ว่า Reddit เองอาจรันบอตแบบนี้เพื่อกระตุ้นการมีส่วนร่วม

  • หลายคนอาจไม่รู้ตัวว่ากำลังคุยกับ GenAI

    • ตอนนี้ก็มีปัญหาอยู่แล้วที่คนคนเดียวคุยผ่านหลายบัญชีโดยแกล้งเป็นคนละคน GenAI ทำให้การปั่นเนื้อเรื่องผ่านบอตทำได้ในต้นทุนต่ำ
    • เป็นปัญหาของทุกโซเชียลเน็ตเวิร์ก วิธีแก้เดียวคือการยืนยันว่าเป็นมนุษย์
    • กำลังสร้างโซเชียลเน็ตเวิร์กที่มีเฉพาะมนุษย์จริงเท่านั้นที่กดโหวตขึ้น/ลงและคอมเมนต์ได้

  • มีบัญชีบน X ที่อายุ 1 ปีและไม่เคยคอมเมนต์เลยแม้แต่ครั้งเดียว แต่มีผู้หญิงหน้าตาดี 35 คนมาติดตาม ไม่มีผู้ชายหรือผู้หญิงที่ไม่ได้หน้าตาดีเลย นี่ไม่ใช่เพราะเสน่ห์ของการกดไลก์ของฉันแน่นอน

    • นี่คือภาพย่อส่วนของทั้งเว็บ

  • น่าจะมีใครสักคนทำเสื้อยืดคำว่า "me good LLM" มาขาย