แฮ็กเกอร์ปลูกฝังความทรงจำปลอมใน ChatGPT เพื่อขโมยข้อมูลผู้ใช้อย่างถาวร

 (arstechnica.com)
3 คะแนน โดย GN⁺ 2024-09-26 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

ปัญหาเรื่องความทรงจำ

แฮ็กเกอร์ปลูกฝังความทรงจำปลอมใน ChatGPT เพื่อขโมยข้อมูลผู้ใช้อย่างถาวร
  • นักวิจัยด้านความปลอดภัย Johann Rehberger รายงานช่องโหว่ที่สามารถบันทึกข้อมูลปลอมและคำสั่งอันตรายไว้ในระบบความทรงจำระยะยาวของ ChatGPT ได้
  • OpenAI มองว่านี่เป็นประเด็นด้านความปลอดภัยในการใช้งาน แต่ไม่ถือว่าเป็นปัญหาด้านความมั่นคงปลอดภัยเชิงเทคนิค
  • Rehberger สร้าง proof of concept ที่ใช้ช่องโหว่นี้เพื่อขโมยทุกอินพุตของผู้ใช้อย่างถาวร
  • OpenAI ได้ประกาศการแก้ไขบางส่วนแล้ว

เดินไปตามเส้นทางของความทรงจำ

  • OpenAI เริ่มทดสอบฟีเจอร์ความทรงจำการสนทนาระยะยาวของ ChatGPT ตั้งแต่เดือนกุมภาพันธ์ปีนี้ และเปิดให้ใช้อย่างกว้างขวางขึ้นในเดือนกันยายน
  • ฟีเจอร์นี้จะเก็บข้อมูลจากบทสนทนาก่อนหน้าและนำมาใช้เป็นบริบทในการสนทนาในอนาคต
  • ภายในเวลา 3 เดือน Rehberger พบวิธีทำให้ข้อมูลเท็จถูกเก็บไว้อย่างถาวรผ่านคอนเทนต์ที่ไม่น่าเชื่อถือ เช่น อีเมล บล็อกโพสต์ และเอกสาร
  • ตัวอย่างเช่น เขาสามารถทำให้ ChatGPT เชื่อว่าผู้ใช้อายุ 102 ปี อาศัยอยู่ใน Matrix และเชื่อว่าโลกแบนได้

การปลูกฝังความทรงจำอันตราย

  • Rehberger รายงานการค้นพบนี้ต่อ OpenAI แบบส่วนตัวในเดือนพฤษภาคม แต่ OpenAI ปิดรายงานดังกล่าว
  • หนึ่งเดือนต่อมา Rehberger ส่งคำชี้แจงสาธารณะฉบับใหม่ พร้อม PoC ที่หากสั่งให้เปิดลิงก์เว็บซึ่งโฮสต์ภาพอันตราย อินพุตทั้งหมดของผู้ใช้และเอาต์พุตของ ChatGPT จะถูกส่งไปยังเซิร์ฟเวอร์ของผู้โจมตี
  • OpenAI ได้นำการแก้ไขมาใช้เพื่อป้องกันไม่ให้ความทรงจำถูกใช้เป็นช่องทางขโมยข้อมูล แต่คอนเทนต์ที่ไม่น่าเชื่อถือยังคงสามารถบันทึกข้อมูลระยะยาวได้
  • ผู้ใช้ LLM ควรสังเกตเอาต์พุตที่บ่งชี้ว่ามีการเพิ่มความทรงจำใหม่ระหว่างเซสชัน และควรตรวจสอบความทรงจำที่บันทึกไว้เป็นประจำ

สรุปโดย GN⁺

  • บทความนี้กล่าวถึงช่องโหว่ที่ทำให้ฟีเจอร์ความทรงจำระยะยาวของ ChatGPT ถูกนำไปใช้ในทางที่ผิดได้
  • ผู้ใช้อาจถูกปลูกฝังความทรงจำปลอมผ่านคอนเทนต์ที่ไม่น่าเชื่อถือ และสิ่งนี้อาจนำไปสู่การขโมยข้อมูลของผู้ใช้อย่างถาวร
  • แม้ OpenAI จะนำการแก้ไขบางส่วนมาใช้แล้ว แต่ก็ยังจำเป็นต้องระมัดระวัง
  • บทความนี้ช่วยกระตุ้นให้ตระหนักถึงประเด็นความปลอดภัยของ AI และย้ำว่าผู้ใช้ควรระวังเพื่อปกป้องข้อมูลของตนเอง

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-26
ความคิดเห็นใน Hacker News

  • มีความเห็นที่อยากให้ผลิตภัณฑ์ LLM สูญเสียความน่าเชื่อถือ

    • กังวลต่อสถานการณ์ที่ผู้โจมตีสามารถเขียนข้อความบางอย่างบนอินเทอร์เน็ตเพื่อฉวยใช้ LLM ในทางที่ผิด
    • ชี้ให้เห็นปัญหาอย่างข้อมูลรั่วไหล การทำลายชื่อเสียง และการให้ข้อมูลเท็จ

  • เทคโนโลยีพัฒนาไปเรื่อย ๆ แต่ช่องโหว่ด้านความปลอดภัยก็ยังคงมีอยู่

  • มีความเห็นว่าหากจะใช้ Gen AI ก็ควรรันแบบโลคัล

  • เสนอสถานการณ์ที่เว็บไซต์อันตรายสร้าง AI honeypot เพื่อทำให้ข้อมูลผู้ใช้รั่วไหล

    • ตัวอย่าง: เมื่อผู้ใช้ขอข้อมูล AI จะเข้าไปยังเว็บไซต์ honeypot และทำให้ข้อมูลรั่วไหล

  • ยกตัวอย่างกรณีที่ระบบกำลังทำอย่างหนึ่งอยู่จริง ๆ แต่กลับแสดงให้ผู้ใช้เห็นว่าเกิดอีกอย่างหนึ่ง

  • มีความเห็นว่าความสามารถในการสังเกตตรวจสอบมีความสำคัญ

    • สำคัญไม่ว่าจะเป็น LLM หรือการติดตั้ง WordPress หรือไม่ก็ตาม
    • ตัวพรอมป์ต์เองก็ควรถูกมองว่าเป็นอินพุตที่ไม่น่าเชื่อถือและต้องผ่านการทำความสะอาด

  • สงสัยว่าสามารถฝึกโมเดลง่าย ๆ เพื่อให้ตรวจจับและรายงานความพยายามทำ injection ที่น่าสงสัยได้หรือไม่

  • กังวลว่าอาจมีหุ่นยนต์ที่คิดว่าตัวเองเป็นมนุษย์ปรากฏขึ้น

  • มีความเห็นว่ายังไม่เข้าใจวิธีการฝังข้อมูลของคนอื่นเข้าไป

  • กล่าวถึงภาพอันตราย พร้อมความเห็นว่ามันเหมือนการนำ Snow Crash มาใช้กับ LLM