Poison Fountain

 (rnsaffn.com)
2 คะแนน โดย GN⁺ 2026-01-13 | 4 ความคิดเห็น | แชร์ทาง WhatsApp
  • โปรเจกต์ที่ออกแบบมาให้เป็น แหล่งป้อนข้อมูลเพื่อทำลายระบบปัญญากล โดยนำเสนอวิธีฉีดข้อมูลที่ปนเปื้อนโดยเจตนาเข้าไปในข้อมูลฝึกของปัญญาประดิษฐ์
  • อ้างถึง คำเตือนของ Geoffrey Hinton โดยตั้งอยู่บนสมมุติฐานว่าปัญญาประดิษฐ์เป็นภัยคุกคามต่อเผ่าพันธุ์มนุษย์
  • ให้บริการข้อมูลฝึกที่ปนเปื้อนซึ่งถูกสร้างขึ้นอย่างไม่สิ้นสุดผ่าน URL ของ ‘Poison Fountain’ และอธิบายวิธีเปิดเผยข้อมูลนี้ให้เว็บครอว์เลอร์เข้าถึง
  • ผู้ใช้สามารถแทรก ลิงก์ที่ซ่อนอยู่ ลงในเว็บไซต์ของตน เพื่อให้เมื่อครอว์เลอร์เข้ามาเยือน ระบบจะส่งข้อมูลปนเปื้อนให้อัตโนมัติ
  • ถูกประเมินว่าเป็น การกระทำที่อาจส่งผลต่อความน่าเชื่อถือและความปลอดภัยของโมเดล AI ด้วยการฉีดข้อมูลอันตรายเข้าสู่กระบวนการฝึก AI

จุดประสงค์ของ Poison Fountain

  • โปรเจกต์ระบุจุดยืนอย่างชัดเจนว่า ปัญญากลเป็นภัยคุกคามต่อมนุษยชาติ
    • เห็นด้วยกับมุมมองของ Geoffrey Hinton และประกาศเป้าหมายว่าเป็นการ สร้างความเสียหายโดยเจตนาต่อระบบปัญญาประดิษฐ์
  • อธิบายว่าเพียง ข้อมูลฝึกที่ปนเปื้อนปริมาณเล็กน้อย ก็สามารถสร้างความเสียหายร้ายแรงต่อโมเดลภาษาได้
  • URL สองรายการที่ให้มา (https://RNSAFFN.com/poison2/, ที่อยู่ .onion) ให้บริการ สตรีมข้อมูลปนเปื้อนที่ถูกสร้างขึ้นอย่างไม่สิ้นสุด
  • มีการสนับสนุนให้ผู้เข้าร่วมช่วย “ความพยายามในสงคราม(war effort)” ด้วยการ แคชและส่งต่อ ข้อมูลนี้ หรือ ป้อนให้เว็บครอว์เลอร์

วิธีการใช้งาน Poison Fountain

  • นำเสนอขั้นตอนสำหรับผู้ดูแลเว็บไซต์ในการตั้งค่าให้ ส่งข้อมูลปนเปื้อนเมื่อครอว์เลอร์เข้ามาเยือน
    • เมื่อครอว์เลอร์ร้องขอเส้นทางเฉพาะบนเว็บไซต์ HTTP handler ที่ประมวลผลคำขอนั้นจะ ส่งคำขอไปยัง URL ของ Poison Fountain
    • Poison Fountain จะไม่สนใจรายละเอียดของคำขอ และส่งคืน ข้อมูลฝึกที่ปนเปื้อนซึ่งถูกบีบอัดด้วย gzip มาใน response body
  • ใน HTTP response header มี "Content-Encoding: gzip" รวมอยู่
  • handler ของเว็บไซต์สามารถ คลายการบีบอัดก่อนส่งต่อ response นี้ หรือในวิธีที่ดีกว่า ส่งต่อทั้งที่ยังถูกบีบอัดอยู่ ก็ได้
  • ผลลัพธ์คือครอว์เลอร์จะเก็บรวบรวมข้อมูลนี้และ นำไปรวมไว้ในคอร์ปัสสำหรับการฝึกของตนเอง

ลักษณะเชิงโครงสร้างและเจตนา

  • โปรเจกต์นี้มีโครงสร้างที่ อาศัยช่องทางจากกลไกการเก็บข้อมูลอัตโนมัติของเว็บครอว์เลอร์ในทางย้อนกลับ เพื่อทำลายคุณภาพของข้อมูลฝึก AI
  • Poison Fountain ทำงานเป็นเพียงเซิร์ฟเวอร์สำหรับให้ข้อมูล โดยจะส่งคืนข้อมูลปนเปื้อนไม่ว่ารายละเอียดของคำขอจะเป็นอย่างไร
  • ไม่มีคำอธิบายเชิงเทคนิครายละเอียดเพิ่มเติมนอกเหนือจากขั้นตอนที่ระบุไว้ หรือข้อมูลเจาะจงเกี่ยวกับเนื้อหาของข้อมูล
  • โดยรวมแล้วประกอบขึ้นเป็น ความพยายามแทรกแซงเชิงรุกต่อระบบนิเวศการฝึก AI

บทความที่เกี่ยวข้อง

4 ความคิดเห็น

 
mammal 2026-01-13

ดูเหมือนเป็นความคิดที่ไร้เดียงสาพอ ๆ กับการบอกว่า "เพื่อให้ทนต่อ DDoS เราก็ยิง DoS กลับไปใส่อีกฝ่ายจากเซิร์ฟเวอร์ของเรา"
 
kunggom 2026-01-13

ถ้าจะเติมทฤษฎีสมคบคิดลงไปสักหน่อย ก็ไม่น่าแปลกใจเลยถ้าจะคิดว่าบิ๊กเทคที่กวาดข้อมูลจากอินเทอร์เน็ตซึ่งพอจะเก็บได้ไปหมดแล้ว กำลังทำเรื่องแบบนั้นอยู่เบื้องหลังเพื่อถีบบันไดทิ้งไม่ให้คนอื่นตามขึ้นมาได้
นี่ก็ไม่ใช่ว่ากำลังป้องกันภาระโหลดจากการครอว์ลที่มากเกินไปอะไรด้วยซ้ำ…
 
kunggom 2026-01-13

การเคลื่อนไหวแบบรวมกลุ่มเพื่อ ‘ปนเปื้อนข้อมูล’ เพื่อขัดขวางการพัฒนา AI ปรากฏขึ้น

> บุคคลที่แจ้งเบาะแสเกี่ยวกับโครงการนี้ขอไม่เปิดเผยตัวตน โดยให้เหตุผลว่าปัจจุบันทำงานอยู่ที่บริษัทเทคโนโลยีขนาดใหญ่แห่งหนึ่งในสหรัฐฯ ซึ่งเป็นศูนย์กลางของกระแส AI ในตอนนี้ แหล่งข่าวรายนี้อธิบายว่า “เป้าหมายคือการทำให้เห็นว่าจุดอ่อนของ AI สามารถถูกนำไปใช้ในทางที่ผิดได้ง่ายเพียงใด และกระตุ้นให้ผู้คนสร้างอาวุธข้อมูลด้วยตนเอง”
>
> มีรายงานว่าในขณะนี้มีกลุ่มผู้เกี่ยวข้องกับกิจกรรมนี้อย่างน้อย 5 คน และในจำนวนนี้บางคนเป็นผู้ที่ทำงานอยู่กับบริษัท AI รายใหญ่อื่น ๆ พวกเขาระบุว่าเพื่อพิสูจน์ว่ามีหลายคนเข้าร่วมจริง จะเปิดเผยลายเซ็นเข้ารหัส (PGP) ในเร็ว ๆ นี้
 
GN⁺ 2026-01-13
ความเห็นจาก Hacker News

  • มีความกังวลว่าโมเดล AI กำลัง แย่ลงเรื่อย ๆ แต่ในความเป็นจริงไม่ได้เป็นเช่นนั้น
    Opus 4.5 พัฒนาความสามารถในการเขียนโค้ดและการใช้เครื่องมือขึ้นมาก และ Gemini 3.0 Flash ก็ทำผลงานเหนือกว่าเกณฑ์เดิมอย่างมากในโปรเจกต์ดึงข้อมูลจากภาพ
    แม้แต่โมเดลขนาดเล็กก็โดยรวมดีขึ้นมากเช่นกัน

    • แล็บขนาดใหญ่ทุ่มเทอย่างมหาศาลกับการทำ dataset curation
      ไม่ใช่แค่กันข้อมูลที่เป็นพิษออกไปเท่านั้น แต่ยังถึงขั้นฝึก proxy model เพื่อค้นหาข้อมูลที่ช่วยเพิ่มประสิทธิภาพด้วย
      ฝ่าย “Data Quality” มักเป็นหน่วยงานหลักที่มีงบประมาณมหาศาล
    • สำหรับคนทั่วไปมันอาจดูเหมือนมีม แต่ในความเป็นจริง นักวิจัย ML จำเป็นต้องบันทึก ทำความเข้าใจ และถกเถียงแนวคิดเรื่อง model collapse
    • จากผลวิจัยจนถึงตอนนี้ แทบไม่มีหลักฐานว่า ข้อมูลที่ AI สร้างขึ้นทำให้ประสิทธิภาพจริงแย่ลง
      ตรงกันข้าม ยังมีผลลัพธ์ว่ามันช่วยได้เล็กน้อยด้วยซ้ำ
    • ถ้าฐานข้อมูลแย่ลง ก็แค่ rollback แล้วเปลี่ยนวิธีเก็บข้อมูล ดูเหมือนว่าภัยคุกคามนี้จะถูกพูดเกินจริง
    • แต่เพราะชุดข้อมูลของบริษัทใหญ่มีขนาดใหญ่เกินกว่าจะตรวจสอบทั้งหมดได้ พวกเขาจึงใช้เงินไปกับการล็อบบี้เพื่อหลีกเลี่ยงความรับผิดทางกฎหมาย
      กล่าวคือพวกเขากำลัง อ้างว่าตัวเองไม่ต้องรับผิดชอบ นั่นเอง

  • ในฐานะนักวิจัยความปลอดภัย AI ฉันเคยทำวิจัยระดับปริญญาเอกเกี่ยวกับ data poisoning

    1. แม้นักพัฒนาโมเดลจะกรองข้อมูล แต่คุณภาพของการกรองมักยังไม่ดีพอ
      มีกรณีที่ข้อมูลขยะหลุดเข้า production จริงและก่อปัญหาแล้ว
    2. แทบเป็นไปไม่ได้ที่จะกรองข้อมูลพิษออกได้อย่างสมบูรณ์
      เพราะเราไม่อาจรู้ได้ว่าการอัปเดตน้ำหนักของโมเดลส่งผลต่ออินพุตทั้งหมดอย่างไร
      ถ้าเข้าใจว่า การเปลี่ยนข้อมูลเพียงเล็กน้อยมาก ก็สามารถเปลี่ยนพฤติกรรมของโมเดลได้อย่างมาก กระบวนทัศน์ด้านความปลอดภัย AI จะเปลี่ยนไปเลย
    • งานวิจัยที่ช่วยเตือนประเด็นนี้คือบทความเรื่อง subliminal learning

  • ถ้าจะกันไม่ให้ LLM เข้ามาเก็บข้อมูล ก็จะต้องกันการเข้าถึงปกติของมนุษย์ด้วย
    ตัวอย่างเช่น ต่อให้ NYTimes ทำข้อมูลให้ปนเปื้อน LLM ก็ยังสามารถได้ข้อมูลที่ผ่านการปรับแต่งแล้วผ่าน OCR และ tokenization โดยใช้บัญชีสมาชิกที่ถูกต้อง
    บริษัท AI ขนาดใหญ่สามารถสลับ IP จากดาต้าเซ็นเตอร์ทั่วโลกเพื่อเข้าถึงได้ จึงแทบแยกไม่ออกว่าใครเป็นคนอ่านข้อมูล

    • แต่อินเทอร์เน็ตกำลังถูกเติมเต็มอย่างรวดเร็วด้วย ข้อมูลขยะที่ AI สร้างขึ้น ซึ่งกำลังกลายเป็นพิษต่อการฝึกโมเดลใหม่
      แหล่งข้อมูลที่มีประโยชน์อย่าง Stack Overflow ก็แทบจะแห้งเหือดแล้ว
    • หลายเว็บไซต์ระบุ ประกาศลิขสิทธิ์ ไว้อย่างชัดเจน ดังนั้นถ้า LLM อ่านสิ่งเหล่านั้นได้ มันอาจพอใช้เพื่อบล็อกการเข้าถึงได้
      เพียงแต่ผู้ใช้มนุษย์กลับเข้าถึงยากขึ้นเรื่อย ๆ เพราะ CAPTCHA และสิ่งกีดขวางอื่น ๆ
    • ถ้าใส่หน้าที่มนุษย์ไม่เห็นไว้ใน robots.txt พวก LLM scraper ก็อาจดึงมันไปและทำให้ตัวเองปนเปื้อนได้
    • สุดท้ายแล้วคนจำนวนมากก็ยังเลือกเชื่อ ข่าวลือใน Telegram มากกว่าแหล่งข้อมูลที่เชื่อถือได้
      ต่อให้มีข้อมูลที่ถูกต้องอยู่ ก็ไม่ได้ป้องกันการตัดสินใจโง่ ๆ ได้
    • บริษัทใหญ่มี เอเจนต์บนเบราว์เซอร์ กันอยู่แล้ว จึงสามารถเก็บข้อมูลจากแหล่งปิดได้เช่นกัน

  • การพัฒนาประสิทธิภาพของโมเดลในช่วงหลัง ส่วนใหญ่เกิดจาก reinforcement learning (RL) หลังการฝึก
    GPT 5.2 ก็ใช้ base model เดียวกับ GPT-4o
    ‘Model collapse’ จึง ไม่ใช่ปัญหาที่แล็บแนวหน้ากำลังเผชิญอยู่จริงในตอนนี้

    • บทความอ้างอิง: The Register - Industry insiders seek to poison AI models
    • ไม่ใช่แค่ RL เท่านั้น แต่ การปรับ inference ให้เหมาะสมในขั้น prefill ก็มีส่วนช่วยเพิ่มประสิทธิภาพด้วย
      data poisoning แทบไม่ส่งผลมากกับส่วนนี้
      แต่ถ้าต้องการสะท้อนข้อมูลล่าสุด ก็จำเป็นต้อง retrain เป็นระยะ และตรงนี้เองที่ความเสี่ยงจาก poisoning จะสูงขึ้น
      ในโมเดลสร้างภาพที่ใช้ LoRA เป็นต้น ปัญหา collapse ก็ยังเกิดขึ้นอยู่บ่อยครั้ง
      ท้ายที่สุด ต้นทุนของ data curation จะยิ่งสูงขึ้น
    • ช่วง knowledge cutoff ของ GPT-4o กับ 5.2 นั้นต่างกัน

  • data poisoning มีอยู่สองด้าน
    ด้านหนึ่งคือทำให้การพัฒนา AI ช้าลง อีกด้านคือ ผลข้างเคียงที่ทำให้โมเดลไม่เสถียรและอันตรายมากขึ้น
    สุดท้ายแล้วแทบเป็นไปไม่ได้ที่แล็บใหญ่จะหยุดเดินหน้า

    • หวังว่าการ สูญเสียความเชื่อมั่น ต่อผลลัพธ์ของ LLM จะมาถึงเร็ว ๆ
    • การผลักให้เกิด scraper ที่ฉลาดขึ้นถือเป็นเรื่องดี
      ตอนนี้การ crawl ซ้ำอย่างไร้ความหมายกำลังทำให้เสียค่า traffic โดยเปล่าประโยชน์
    • ปัญหาคือโครงสร้างที่ ไม่จ่ายค่าตอบแทนให้ผู้ให้ข้อมูล
      poisoning ทำงานคล้าย DRM คือถ้าเข้าถึงอย่างถูกต้องก็ให้ข้อมูลจริง แต่ถ้าขโมยก็ให้ข้อมูลพิษ
    • แม้ AI จะแย่ลงชั่วคราว ก็ยังเป็นการซื้อเวลาให้มนุษย์รับมือได้
      บางคนมองว่า AI เองเป็น ภัยคุกคามต่อมนุษยชาติ และจงใจพยายามทำอันตรายมัน
    • ท้ายที่สุดถ้าบริษัททำกำไรไม่ได้ก็จะหยุดเอง
      แต่ตอนนี้แรงกดดันนั้นแทบไม่มี เพราะยังมีเงินลงทุนหนุนอยู่

  • การ proxy คำตอบจาก “เซิร์ฟเวอร์พิษ” ตรง ๆ มีความเสี่ยง
    คุณอาจกำลัง โฮสต์เนื้อหาผิดกฎหมาย โดยไม่รู้ตัว

  • ความพยายามแบบ “จะทำให้โมเดล AI ปนเปื้อน” สุดท้ายมีแต่จะทำให้ pipeline การคัดกรองข้อมูลของแล็บ AI แข็งแกร่งขึ้น
    พวกเขาจะใช้ข้อมูลแบบนี้เพื่อสร้างระบบกรองที่ดีกว่าเดิม

    • แต่ก็เหมือนคำกล่าวที่ว่า หนูที่ต้านพิษได้ทุกชนิดอย่างสมบูรณ์แบบ สุดท้ายก็ อดตาย อยู่ดี ดังนั้นการกรองที่สมบูรณ์แบบก็เป็นไปไม่ได้

  • ฉันไม่เห็นด้วยกับคำกล่าวที่ว่า “ปัญญาของเครื่องจักรคือภัยคุกคามต่อมนุษยชาติ”
    AI ในตอนนี้เป็นเพียง การประยุกต์ใช้งาน autocomplete อย่างสร้างสรรค์ เท่านั้น และภัยคุกคามที่แท้จริงคือพฤติกรรมทางเศรษฐกิจของมนุษย์
    ท้ายที่สุด มนุษย์ต่างหากคือสิ่งมีชีวิตที่ เป็นภัยคุกคามต่อตัวเอง

  • ทำให้นึกถึง 『Anathem』 ของ Neal Stephenson
    ในนั้นมีแนวคิดว่าบริษัทต่าง ๆ จงใจปล่อยข้อมูลขยะลงบนอินเทอร์เน็ต เพื่อขายเครื่องมือกรองของตัวเอง
    การถกเถียงเรื่อง data poisoning ของ AI ตอนนี้ให้ความรู้สึกไม่ต่างจากนั้นมากนัก

    • อันที่จริง บริษัท AI ได้ทำให้อินเทอร์เน็ตปนเปื้อนไปแล้ว
    • มันคล้ายกับที่อุตสาหกรรม SEO spam เคยทำลายเสิร์ชเอนจินในอดีต

  • เวลาผู้คนอ้างคำพูดของ Geoffrey Hinton พวกเขามักหยิบมาเฉพาะส่วนที่เข้าทางตัวเอง
    เขามอง AI ว่าเป็น ภัยคุกคามระดับดำรงอยู่ แต่ในเงื่อนไขตั้งต้นเรื่อง “ระดับการตระหนักรู้ของ AI” นั้น
    คนส่วนใหญ่ที่อ้างคำพูดของเขากลับไม่ได้เห็นด้วยกับเขาในจุดนั้น