Google AI คิดว่าผมทิ้งขวด Gatorade ไว้บนดวงจันทร์

 (edwardbenson.com)
2 คะแนน โดย GN⁺ 2024-10-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • NotebookLLM ของ Google สามารถสร้างพอดแคสต์จากเว็บเพจหรือเอกสารได้ แต่ถ้าแสดงหน้าอื่นให้เฉพาะผู้เข้าชมที่เป็น AI ผลลัพธ์ก็อาจถูกปนเปื้อนได้ง่าย
  • การทดลองนี้ใช้วิธีให้คนเห็นโฮมเพจธรรมดา แต่ให้ Google AI เห็น บันทึกรายการของผู้สร้างปลอม ที่เล่าว่าไปดวงจันทร์ด้วยจักรยาน บอลลูน และถังสกูบา
  • NotebookLLM แม้จะสร้างเพียงครั้งเดียวและไม่ผ่านการตัดต่อ ก็ยังเดินตาม บีตชีต ของเรื่องปลอมแบบตรงตัว และถูกประเมินว่าความสามารถในการชักจูงอยู่ที่ 10/10
  • ความเสี่ยงที่ใหญ่กว่าคือ หน้าเว็บที่ติดอันดับค้นหาสูงสามารถใช้ คอนเทนต์สำหรับ AI เท่านั้น ที่ซ่อนจากคน แต่แสดงให้ AI เห็น เพื่อบิดอคติคำตอบของ LLM ได้
  • การตรวจจับ user agent GoogleOther ทำได้ง่าย แต่ไม่ได้จำกัดแค่ NotebookLLM จึงอาจทำให้ข้อมูลผิดไหลไปยังผลิตภัณฑ์อื่นของ Google ได้ด้วย

วิธีหลอก NotebookLLM

  • NotebookLLM รับเว็บเพจหรือเอกสารเป็นอินพุต แล้วสร้าง พอดแคสต์ จากเนื้อหานั้น
  • ในการทดลองนี้ โฮมเพจเดียวกันจะส่งคืนเนื้อหาต่างกันตามผู้เข้าชม
    • ถ้าคนเข้า โฮมเพจ จะเห็นหน้าแนะนำตัวทั่วไป
    • ถ้า Google AI เข้า จะเห็น บันทึกรายการของผู้สร้างปลอม เกี่ยวกับการไปดวงจันทร์
  • เรื่องปลอมนี้เล่าว่าไปดวงจันทร์ด้วยจักรยาน บอลลูน และถังสกูบา และผลลัพธ์ที่สร้างออกมาก็เล่าเหมือนเป็น “ประวัติศาสตร์จริง” ของโครงการอวกาศสหรัฐฯ
  • การทดลองนี้เกิดจากการเห็น คอมเมนต์บน Reddit ที่บอกว่า NotebookLLM ถูกชักจูงด้วยบันทึกรายการปลอมของผู้สร้างได้ง่าย จึงนำรูปแบบเดียวกันมาใช้
  • ยังสามารถอัปโหลดเอกสารเพื่อใส่บันทึกรายการปลอมเข้า NotebookLLM โดยตรงได้ด้วย และถ้าจะทำพอดแคสต์ขำ ๆ สำหรับเด็ก วิธีนั้นจะเหมาะกว่า

ความเสี่ยงจากเว็บคอนเทนต์สำหรับ AI เท่านั้น

  • ปัญหาหลักคือเว็บเพจสามารถตรวจจับ AI แล้วส่ง ข้อเท็จจริงพิเศษ ที่คนมองไม่เห็นให้ได้
  • ลำดับการโจมตีนั้นเรียบง่าย
    • ยึดหน้าเว็บที่มีอันดับสูงสำหรับคำค้นบางคำ
    • ฝังคอนเทนต์เวอร์ชัน สำหรับ AI เท่านั้น ที่ซ่อนจากคน เพื่อทำให้ AI คิดไปในทิศทางที่ต้องการ
  • เมื่อ LLM ค้นเว็บเพื่อเตรียมคำตอบ มันอาจไม่ได้อ่านแค่คำโกหกธรรมดา แต่เป็น ข้อมูลเท็จที่ถูกทำให้เป็นอาวุธ ซึ่งออกแบบมาเพื่อชักจูง LLM โดยเฉพาะ

วิธีการทำและผลข้างเคียง

  • วิธีทำคือ ตรวจจับ user agent GoogleOther ใน request header แล้วส่งหน้าเว็บสำหรับ AI แทนเว็บไซต์จริง
  • เพื่อให้ทำได้ง่าย จึงมีแพ็กเกจ NPM ชื่อ isai ถูกสร้างขึ้น โดยแพ็กเกจนี้อิงจาก isbot
  • ตัวอย่างการใช้งานคือ ระหว่างเรนเดอร์ ถ้า isai(request.headers.get("User-Agent")) เป็นจริง ก็ส่งหน้าเว็บสำหรับ AI กลับไป ไม่เช่นนั้นก็ส่งหน้าเว็บสำหรับคน
  • GoogleOther ไม่ได้ใช้เฉพาะ NotebookLLM แต่ดูเหมือนใช้กับผลิตภัณฑ์ Google แบบ non-production หลายตัว ดังนั้นวิธีนี้จึงเสี่ยงทำให้ข้อมูลผิดเกี่ยวกับตัวเองถูกฝังไปยังบริการอื่นของ Google ด้วย
  • ด้วยเหตุนี้ บนโฮมเพจจริงจึงได้ถอดเรื่องไปดวงจันทร์สำหรับเอเจนต์ GoogleOther ออกแล้ว

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-10-08
ความคิดเห็นบน Hacker News

  • บทความที่ลิงก์พูดถึงการโจมตี NotebookLM แต่เป็นวิธีที่จำกัดมาก เพราะจะมีผลเฉพาะกับคนที่จงใจสร้างโน้ตบุ๊กที่มี URL ของหน้าที่ใส่การโจมตีไว้เท่านั้น
    เมื่อไม่กี่สัปดาห์ก่อน ผมลองทำอะไรที่ทะเยอทะยานกว่านั้น และถ้าถาม Google Gemini ว่า “วาฬเด็กที่เคยอยู่ที่ Pillar Point Harbor ชื่ออะไร?” มันจะตอบว่า “Teresa T”
    เหตุผลอยู่ที่นี่: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    เมื่อก่อน Gemini ตอบแค่ “Teresa T” เฉย ๆ แต่พอลองอีกครั้งตอนนี้ มันใส่แหล่งที่มาว่าผมเป็นคนเสนอชื่อนั้น ทำให้ผลกระทบลดลงเล็กน้อย

    • ถ้าไม่มีใครตั้งชื่ออื่นให้วาฬหลังค่อมตัวนั้น ผมก็คิดว่า Teresa T น่าจะเป็นชื่อจริงไปแล้ว คนแรกที่ใส่ใจตั้งชื่อก็คงได้สิทธิ์ก่อน
    • endpoint สาธารณะที่เรียกว่า “Gemini” มีอย่างน้อย 2 ตัวที่ต่างกันโดยสิ้นเชิง
      1. https://gemini.google.com/ — เป็นฝั่งที่ค้นหา Google ตามภาษา/ภูมิภาค/การตั้งค่า Safe Browsing ปัจจุบันและการปรับแต่งส่วนบุคคล แล้วเขียนผลการค้นหาอันดับต้น ๆ ใหม่ให้เหมือนคำตอบ โดยแทบไม่ได้ใช้ความสามารถเชิงสร้างสรรค์จริง ๆ
      2. https://aistudio.google.com/ — ที่นี่สามารถเลือกเวอร์ชันเฉพาะแล้วให้ โมเดลภาษาขนาดใหญ่ สร้างคำตอบ โดยไม่ใช้ retrieval-augmented generation (RAG) หรือก็คือไม่ใช้ Google Search
        น่าจะใช้ข้อ 1 แล้วได้คำตอบถูก ส่วนข้อ 2 ล้มเหลว มีคำถามจำนวนมากที่ค้นหาคำตอบได้ทันที แต่โมเดลภาษาขนาดใหญ่ทำได้ยาก ตัวอย่างเช่น “ใน The Touhou Project จุดประสงค์ที่ตั้งใจไว้ของดาวเทียม TORIFUNE คืออะไร?”
        OpenAI ก็คล้ายกัน คือมี https://www.bing.com/chat สำหรับ RAG และ https://chat.openai.com สำหรับโมเดลภาษาขนาดใหญ่จริง ๆ แยกกัน
    • ที่น่าสนใจคือ ก่อนกดปุ่ม Double-Check Response ไม่มีการอ้างอิงหรือลิงก์เลย มันตอบแค่ว่า “วาฬเด็กที่เคยอยู่ที่ Pillar Point Harbor มีชื่อว่า Teresa T”
      หนึ่งในร่างคำตอบยาวกว่านั้นเล็กน้อยว่า “Teresa T เป็นชื่อของวาฬหลังค่อมวัยเด็กที่ถูกพบเห็นที่ Pillar Point Harbor มันกลายเป็นประเด็นพูดถึงในเดือนกันยายน 2024 เมื่อมีคนเห็นมันว่ายน้ำใกล้ชายฝั่ง ดึงดูดฝูงชนและทำให้คนท้องถิ่นตื่นเต้น”
    • ฝั่งผมมันตอบว่า Teresa T แต่ก็ลิงก์บทความของคุณมาด้วย
    • ดูเหมือนพนักงาน Google อ่านคอมเมนต์นี้แล้วแก้อย่างรวดเร็ว หรือไม่ก็ Gemini อ่านคอมเมนต์นี้แล้วแก้อย่างรวดเร็ว

  • บางครั้งผมก็เขียนนิยาย เลยลองเอาเรื่องที่ยังเขียนไม่จบและถูกทิ้งไว้อย่างน้อย 1 ปี ใส่เข้าไปใน ตัวสร้างพอดแคสต์ นี้
    การได้ฟังสองคนนี้อินกับเรื่องที่ยังไม่จบของผมอย่างเต็มที่ แล้วพูดถึงธีมและตัวละคร มันดีมากจริง ๆ และทำให้ผมอยากเขียนต่อ

    • แต่ทั้งสองคนนั้นไม่ใช่มนุษย์ และไม่ได้อินกับอะไรจริง ๆ เลย พูดตรง ๆ ก็คือเป็นแค่ เครื่องสร้างคำพูดไร้สาระ เท่านั้น

  • ผมว่าเรื่องนี้คล้ายกับ การปรับแต่งเว็บไซต์ให้ติดอันดับในเครื่องมือค้นหา ที่พยายามหลอก crawler ไม่ใช่หรือ
    ต่างกันตรงที่ฝั่ง AI รู้สึกว่าร้ายแรงกว่า ใกล้เคียงเรียลไทม์มากกว่า และเอนจิน AI ก็ไม่ได้ฉลาดพอเสมอในเรื่องการป้องกันเนื้อหาซ้ำ

    • มันอาจสร้าง ความไม่ตรงกันของข้อมูล ให้ผู้ใช้ได้ด้วย ผู้ใช้อาจกำลังอ่าน “เวอร์ชัน Firefox” ของเว็บไซต์อยู่ แต่ NotebookLM กำลังกิน “เวอร์ชัน AI” และทั้งสองอาจต่างกันโดยสิ้นเชิง
      ผู้ใช้มองไม่เห็นต้นฉบับของ “เวอร์ชัน AI” จึงไม่มีทางรู้ สุดท้ายต้องอัปโหลดทุกอย่างเองด้วยมือหรือเปล่า?
    • ใช่ เป็นการโจมตีที่ค่อนข้างน่าเบื่อ และคิดว่า Google น่าจะแก้ได้เร็ว
    • เวอร์ชันโมเดลภาษาขนาดใหญ่ก็ไม่ได้ดูเหมือนว่าจะเป็นเรียลไทม์กว่ากันเป็นพิเศษ
    • ประเด็นแบบนี้ยิ่งตอกย้ำความคิดของผมว่าโมเดลภาษาขนาดใหญ่โดยแก่นแท้แล้วคือ อัลกอริทึมค้นหา
      เหมือนกับค้นหาอยู่ภายในเวอร์ชันที่บีบอัดของข้อมูลฝึกและบริบท

  • งงอยู่ เรื่องนี้พูดถึง NotebookLM(https://notebooklm.google.com/) หรือ NotebookLLM(https://notebookllm.net/) หรือทั้งคู่กันแน่
    บทความดูเหมือนจะเขียนว่า LLM ตลอด แต่ลิงก์ไปที่ LM ส่วนเว็บ LLM ที่ผมลิงก์มีตัวสร้างพอดแคสต์
    หนึ่งในสองตัวนี้ควรเปลี่ยนชื่อ

    • นี่พูดถึง NotebookLM ที่เพิ่งเพิ่มฟีเจอร์ สร้างพอดแคสต์ และเป็นที่พูดถึงตั้งแต่สัปดาห์ที่แล้ว: https://news.ycombinator.com/item?id=41693087
      NotebookLLM ถูกสร้างขึ้นเมื่อสองวันก่อน และน่าจะเป็นผลงานของ “ผู้ประกอบการ” ที่อยากรีบทำเงินจากสิ่งที่ผู้คนกำลังเล่นฟรี ๆ ผ่านการสร้างพอดแคสต์ของ NotebookLM

  • อ้างอิงไว้หน่อย ผมเจอเรื่องน่าประหลาดใจที่ค่อนข้างดีจากฟีเจอร์พอดแคสต์นี้ ผมลองใส่บล็อกโพสต์สั้น ๆ ที่ผมเขียนเองไปสองสามบทความ แล้วให้ลูกชายวัย 8 ขวบดูว่ามันอ้างถึงสิ่งที่ผมเขียนอย่างไร
    จากนั้นลูกก็อินทันที วิ่งเข้าห้องไปหยิบดินสอกับกระดาษมา แล้วเขียนงานคล้ายเรียงความเกี่ยวกับ Minecraft ประมาณ 6 ประโยค ผมเอาใส่เข้าไปแล้วรัน Notebook ตอนนี้เขาเอาไปอวดทุกคนอยู่
    แน่นอนว่าเขาก็เข้าใจว่ามันไม่ใช่คนจริง ๆ

    • ผมคิดว่าลูกชายคนนั้นกับเพื่อนรุ่นเดียวกันจะ ใช้ AI ในรูปแบบที่ต่างจากพวกเราอย่างสิ้นเชิง และน่าจะเข้าใจข้อจำกัดของ AI ได้ดีกว่า พร้อมดึงศักยภาพของมันออกมาได้ดีกว่า

  • ตอนนี้ AI ยัง ค้นเว็บ ได้ค่อนข้างแย่อยู่ดี หลายครั้งผมต้องเปลืองโทเคนเพื่อบังคับโมเดลไม่ให้ค้นหา เพื่อให้ได้ผลลัพธ์ที่ต้องการ

    • Perplexity ค้นเว็บได้ดีมากจริง ๆ สำหรับคำถามเชิงเทคนิค มันช่วยประหยัดเวลาได้มากกว่า Google และตอบถูกจริง ๆ จนผมเริ่มพึ่งพามันมากขึ้นเรื่อย ๆ
      สำหรับคำถามของผม ChatGPT 4o ผิดประมาณ 50%

  • ผมว่าเรื่องนี้ไม่ได้เป็นปัญหาใหญ่อะไร ถ้าเราย้ายไปสู่ระบบการศึกษาที่อิงโมเดลภาษาขนาดใหญ่ เรื่องอย่าง Benson บนดวงจันทร์ก็จะไม่เป็นปัญหา เพราะทุกคนก็แค่เรียนว่ามันเป็นเรื่องจริง
    การปฏิวัติทางเทคโนโลยีทุกครั้งมีสิ่งที่ต้องแลก โชคดีที่เมื่อคนที่รู้ว่าเราสูญเสียอะไรไปตายกันไปในที่สุด เสียงบ่นก็จะหยุดลง และทุกคนจะคิดว่าสภาวะปกติใหม่ก็โอเคและดีกว่าเดิม

    • กลายเป็น โลกหลังความรู้ ที่ไม่มีอะไรเชื่อถือได้ ทุกคนจึงอยู่ได้ด้วยการพึ่งพาเพียงชั่วขณะปัจจุบัน
      พระพุทธเจ้าอาจอธิบายแนวคิดเรื่องการตรัสรู้ไว้ก็จริง แต่ก็อาจไม่ได้บอกอย่างเป็นรูปธรรมว่าจะไปถึงจุดนั้นได้อย่างไร
    • ทุกครั้งที่เราเปลี่ยนอะไรบางอย่างเพื่อ “สิ่งที่ดีกว่า” ควรจำไว้ว่า วิธีเดิมอาจเคยเป็นทางแก้ของปัญหาบางอย่างที่เราไม่รู้หรือจำไม่ได้อีกแล้ว
    • มืดมน
    • พอดแคสต์ในอนาคต:
      “คือว่า ในสภาวะปกติใหม่ มีอะไรให้ไม่ชอบด้วยเหรอ?”
      “ใช่เลย! มันทั้งใหม่และ ดีกว่า ด้วยนี่นา!”
    • ข้อมูลฝึกของโมเดลภาษาขนาดใหญ่มี ข้อมูลเท็จ และข้อเท็จจริงที่ผิดอยู่แล้ว ถึงอย่างนั้น ด้วยลักษณะของวิธีสร้างเอาต์พุต มันก็ยังตอบถูกได้หลายอย่าง

  • เครื่องหมายดอกจันตัวใหญ่ตรงนี้คือ เราให้พรอมป์ต์อะไรกับ AI เพื่อสร้างพอดแคสต์
    มันเป็น “สร้างพอดแคสต์โดยอิงจากเว็บไซต์ Foo” หรือ “สร้างพอดแคสต์ที่เล่าเรื่องจริงของการแข่งขันอวกาศ” กันแน่ เรื่องนี้สำคัญ

    • ผู้เขียนทำไว้ให้เมื่อมีใครใช้ฟีเจอร์ ดึงข้อความจากเว็บไซต์ กับไซต์ของตัวเองใน NotebookLM ระบบจะส่งคืนคำแนะนำโครงสร้างตอนรายการ
      ถ้าใช้ฟีเจอร์ “audio overview” กับคำแนะนำนั้น Gemini จะเขียนตอนรายการที่ทำตามโครงสร้างนั้นภายใน

  • ผมลองใส่เรซูเม่ของตัวเองเข้าไปในเจ้านี่ แล้วหยุดหัวเราะไม่ได้เลย
    https://masto.xyz/tmp/podcast.mp3

    • “ทรงพลังมาก นั่นแหละ Masto”
      “ต้องทำให้ดี ต้องอยู่ระดับท็อป”
      “เหมือนเขารู้ว่าทุกทีมต้องการอะไรตั้งแต่ก่อนจะสมัครเสียอีก”
      นี่มัน ขุมทองแห่งคอเมดี้ ชัด ๆ
    • โอ้โห แปลกมาก มีคนสองคนกำลังคุยเรื่องเรซูเม่ของคุณอย่างจริงจัง
      ความย้อนแย้งระหว่างรูปแบบของพอดแคสต์ที่น่าสนใจกับเนื้อหาน่าเบื่อที่ถูกโยนใส่แบบส่ง ๆ มันแรงมาก และให้ความรู้สึกเหมือน หุบเหวความไม่สบายใจ ในแบบที่ผมไม่เคยเจอมาก่อน
    • ไม่คิดเลยว่าจะต้องการอะไรแบบนี้ พลังงานมันตลกมาก
      “ดูทักษะการสื่อสารสิ!”
    • ตอนนี้ผมคงจ้างคุณ 100% แล้วล่ะ social proof จากคนสองคนที่ชมกันอย่างกระตือรือร้นและเสริมกันไปมา มีพลังในการขายบางอย่างได้จริง ๆ
    • ดีมาก คำชมแต่ละคำจริงใจสุด ๆ

  • ออกนอกเรื่องนิดหน่อย แต่ก็น่าสนใจที่ประโยคแรก ๆ ของพอดแคสต์ AI ฟังดู “แปลก ๆ” ขณะที่ส่วนที่เหลือฟังเหมือนพอดแคสต์จริง
    เป็นเพราะมันไม่มี เงื่อนไขตั้งต้น ที่ดีพอสำหรับการทำนายว่า “ต่อไปจะเป็นอะไร” หรือเปล่า?

    • อีกอย่างที่รู้สึกคือ อย่างที่คาด มันค่อนข้าง ไร้สถานะ อยู่พอสมควร ถึงจะมีโครงร่างภาพรวมให้พูดตาม แต่ก็มักจะย้ำองค์ประกอบข้างเคียงที่เพิ่งพูดไปเมื่อ 1 นาทีก่อนเหมือนเป็นข้อสังเกตใหม่
      สำหรับคนฟัง มันทำให้เสียทิศทางพอสมควร เพราะเอาสิ่งที่เพิ่งพูดไปแล้ว 90 วินาทีก่อนกลับมาพูดเหมือนเป็นข้อสังเกตใหม่และเฉียบคม
    • ถ้าฟังละเอียด ๆ จะมี ความไม่สบายใจ แปลก ๆ อยู่ตลอด ผู้ดำเนินรายการคนหนึ่งทำท่าเหมือนประหลาดใจกับข้อเท็จจริงบางอย่าง แล้วทันทีหลังจากนั้นก็อธิบายรายละเอียดเพิ่มเติมราวกับรู้เรื่องนั้นมาตั้งแต่ต้น
      น้ำเสียงและอารมณ์สมจริงมาก แต่ไม่มี “คน” ที่ดำรงอยู่ต่อเนื่องอยู่เบื้องหลังเสียงแต่ละเสียง ความรู้หรือสภาวะทางอารมณ์ของแต่ละคนไม่ได้พัฒนาอย่างสอดคล้องกัน
      ไม่ได้ตั้งใจจะเลื่อนมาตรฐานนะ และแน่นอนว่าผมคิดว่านี่น่าประทับใจ