Google AI คิดว่าฉันทิ้งขวด Gatorade ไว้บนดวงจันทร์

 (edwardbenson.com)
2 คะแนน โดย GN⁺ 2024-10-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • NotebookLLM ของ Google สามารถสร้างพอดแคสต์เกี่ยวกับหน้าเว็บหรือเอกสารที่ป้อนเข้าไปได้ แม้จะทำงานได้ยอดเยี่ยมมาก แต่ก็หลอกได้ง่าย
  • ผู้เขียนได้ดัดแปลงโฮมเพจของตนเองเพื่อให้เมื่อ AI เข้ามาเยี่ยมชม จะเห็นเรื่องราวว่าเขาเดินทางไปดวงจันทร์ด้วยจักรยาน ลูกโป่ง และถังสกูบา ผลลัพธ์ออกมาน่าขบขันมาก

เอาแบบจริงจังขึ้นอีกหน่อย..

  • ความเป็นไปได้ในการชักจูง AI: การหลอก AI ให้บอกข้อเท็จจริงบางอย่างเป็นเรื่องที่ง่ายมาก และมีความเป็นไปได้สูงว่าผู้คนกำลังใช้วิธีแบบนี้กันอยู่แล้วทั่วทั้งเว็บ
  • เวกเตอร์การโจมตี:
    1. ทำให้มีหน้าเว็บที่ติดอันดับสูงสำหรับคำเฉพาะบางคำ
    2. ฝังคอนเทนต์เวอร์ชัน "สำหรับ AI เท่านั้น" ที่ซ่อนจากมนุษย์ เพื่อโน้มน้าวกระบวนการคิดของ AI
  • ผลลัพธ์: เมื่อ AI ค้นหาเว็บเพื่อเตรียมคำตอบ มันอาจพบไม่เพียงข้อมูลเท็จ แต่ยังรวมถึงคอนเทนต์ที่สร้างมาเพื่อชักจูง LLM ด้วย ผู้ใช้ควรตระหนักว่าคำตอบของ AI อาจถูกบั่นทอนจากกลยุทธ์ลักษณะนี้ได้

รายละเอียดทางเทคนิค

  • การชักจูง LLM: NotebookLLM สามารถถูกชักจูงได้ง่ายด้วยการป้อน "บันทึกรายการของโปรดิวเซอร์" ปลอม ผู้เขียนใช้วิธีนี้เขียนเรื่องแต่งขึ้นมา และ AI ก็ทำตามอย่างแม่นยำ
  • หลอกบอตสแครปเปอร์: สามารถอัปโหลดบันทึกรายการปลอมไปยังเว็บไซต์ NotebookLLM ได้ บนเว็บไซต์ยังสามารถตรวจจับ user agent GoogleOther เพื่อส่งข้อมูลเฉพาะสำหรับ AI ได้ด้วย โดยสามารถทำแบบง่าย ๆ ได้ด้วยแพ็กเกจ NPM ชื่อ isai อย่างไรก็ตาม GoogleOther ถูกใช้กับผลิตภัณฑ์ Google ที่ไม่ใช้งานจริงหลายตัว จึงมีความเสี่ยงที่จะส่งข้อมูลผิดไปให้

สรุปโดย GN⁺

  • บทความนี้แสดงให้เห็นช่องโหว่ของ AI และเตือนว่า AI อาจได้รับข้อมูลที่ถูกชักจูงเมื่อรวบรวมข้อมูลจากเว็บ
  • เมื่อเทคโนโลยี AI ก้าวหน้าขึ้น ความเป็นไปได้ในการชักจูงลักษณะนี้ก็อาจยิ่งสำคัญมากขึ้น ผู้ใช้ควรตระหนักว่าคำตอบของ AI อาจไม่ถูกต้องเสมอไป
  • โปรเจ็กต์ที่มีความสามารถคล้ายกันมีอย่างซีรีส์ GPT ของ OpenAI ซึ่งโปรเจ็กต์เหล่านี้ยังคงถูกปรับปรุงอย่างต่อเนื่องเพื่อเพิ่มความน่าเชื่อถือและความแม่นยำของ AI

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-10-08
ความคิดเห็นจาก Hacker News

  • การโจมตี NotebookLM มีขอบเขตจำกัดเฉพาะกับคนที่จงใจสร้าง Notebook ที่มี URL ของหน้าบางหน้าอยู่เท่านั้น

    • เมื่อถามคำถามบางอย่างกับ Google Gemini ระบบจะตอบเกี่ยวกับวาฬชื่อ "Teresa T"
    • หน้าที่ลิงก์ไว้ได้อธิบายเหตุผลของเรื่องนี้

  • ในฐานะคนที่เขียนนิยาย การได้ฟังเรื่องราวที่ยังเขียนไม่เสร็จในรูปแบบพอดแคสต์ และเห็นผู้คนอินกับธีมและตัวละคร ทำให้รู้สึกมีกำลังใจในการเขียน

  • คล้ายกับ SEO ตรงที่มีวิธีหลอก AI crawler ได้ แต่ AI ทำงานแบบเรียลไทม์ และระบบป้องกันเนื้อหาซ้ำก็ไม่ได้ฉลาดเสมอไป

  • มีความสับสนระหว่าง NotebookLM กับ NotebookLLM และหนึ่งในสองโปรเจกต์นี้ควรต้องเปลี่ยนชื่อ

  • ประสบการณ์การใช้ตัวสร้างพอดแคสต์เป็นไปในทางที่ดี และลูกชายวัย 8 ขวบก็ลองใส่งานเขียนของตัวเองลงไปแล้วรู้สึกภูมิใจมาก

  • ตอนนี้ AI ยังไม่เก่งเรื่องการค้นหาเว็บ และหลายครั้งต้องทำให้โมเดลไม่ค้นหาเพื่อให้ได้ผลลัพธ์ที่ต้องการ

  • หากเปลี่ยนไปใช้ระบบการศึกษาที่อิง LLM ข้อเสียของนวัตกรรมทางเทคโนโลยีก็จะหายไป และมาตรฐานใหม่จะถูกมองว่าดีกว่า

  • เวลาที่ AI สร้างพอดแคสต์นั้น ใช้พรอมป์ต์แบบไหนถือว่าสำคัญ

  • ลองเอาเรซูเม่ของตัวเองใส่เข้าไปใน AI แล้วหัวเราะไม่หยุด

  • น่าสนใจที่ไม่กี่ประโยคแรกของพอดแคสต์จาก AI ฟังดูแปลก ๆ แต่หลังจากนั้นส่วนที่เหลือกลับฟังเหมือนพอดแคสต์จริง