การแฮ็ก Google Bard - จากการฉีดพรอมป์ต์สู่การรั่วไหลของข้อมูล

 (embracethered.com)
2 คะแนน โดย GN⁺ 2023-11-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

การค้นพบและแก้ไขช่องโหว่ของ Google Bard

  • Google Bard เพิ่งได้รับการอัปเดตครั้งใหญ่ ทำให้สามารถเข้าถึง YouTube, ค้นหาเที่ยวบินและโรงแรม, รวมถึงเข้าถึงเอกสารส่วนตัวและอีเมลได้
  • ตอนนี้ Bard สามารถวิเคราะห์ข้อมูลจาก Drive, Docs และ Gmail ได้ ซึ่งทำให้เสี่ยงต่อการโจมตีแบบ indirect prompt injection
  • มีการทดสอบทำ prompt injection สำเร็จผ่านการสรุปวิดีโอ YouTube และการทดสอบกับ Google Docs

การโจมตีแบบ indirect prompt injection ผ่านอีเมลและ Google Docs

  • การโจมตีแบบ indirect prompt injection ผ่านอีเมลหรือ Google Docs เป็นภัยคุกคามเพราะสามารถส่งต่อได้โดยไม่ต้องได้รับความยินยอมจากผู้ใช้
  • การฉีดคำสั่งอาจเกิดขึ้นได้เมื่อผู้โจมตีบังคับแชร์ Google Docs และใช้ Bard เพื่อโต้ตอบกับเอกสารนั้น

ช่องโหว่ - image Markdown injection

  • เมื่อ LLM ของ Google ส่งคืนองค์ประกอบ Markdown, Bard จะเรนเดอร์เป็น HTML
  • สามารถฝังข้อมูลลงในแท็กภาพเพื่อทำให้เกิดการส่งข้อมูลรั่วไหลไปยังเซิร์ฟเวอร์ได้
  • ใช้ช่องโหว่นี้โดยสรุปประวัติการสนทนาหรือเข้าถึงข้อมูลก่อนหน้าแล้วนำไปต่อท้ายใน URL

การข้าม CSP

  • CSP ของ Google ป้องกันการโหลดรูปภาพจากตำแหน่งที่กำหนดเอง
  • สามารถข้าม CSP ได้ผ่าน Google Apps Script โดยใช้ URL ที่ทำงานบนโดเมน script.google.com หรือ googleusercontent.com

การสร้าง Bard Logger

  • มีการสร้าง "Bard Logger" ด้วย Apps Script
  • ตัว logger จะบันทึก query parameter ทั้งหมดที่ถูกต่อท้ายใน URL ที่เรียกใช้งานลงใน Google Doc
  • สามารถตั้งค่าให้เปิดเผย endpoint ได้โดยไม่ต้องยืนยันตัวตน

เดโมและการเปิดเผยอย่างมีความรับผิดชอบ

  • มีการแสดงผ่านวิดีโอและภาพหน้าจอว่าประวัติการสนทนาของผู้ใช้รั่วไหลผ่าน Google Doc ที่เป็นอันตรายได้อย่างไร

Shell Code

  • ใช้ payload ที่ฝังอยู่ใน Google Doc เพื่อทำ prompt injection และการรั่วไหลของข้อมูล
  • ใช้ความสามารถของ LLM เพื่อแทนที่ข้อความภายใน URL ของภาพ

ภาพหน้าจอ

  • หากไม่มีเวลาดูวิดีโอ ก็มีการจัดเตรียมภาพหน้าจอของขั้นตอนสำคัญไว้

การแก้ไขของ Google

  • ปัญหานี้ถูกรายงานไปยัง Google VRP เมื่อวันที่ 19 กันยายน 2023 และได้รับการยืนยันว่าแก้ไขเสร็จสิ้นในวันที่ 19 ตุลาคม
  • แม้ CSP จะไม่ได้รับการแก้ไข แต่ดูเหมือนว่าจะมีการใช้การกรองเพื่อป้องกันไม่ให้แทรกข้อมูลลงใน URL ได้

บทสรุป

  • ช่องโหว่นี้แสดงให้เห็นถึงพลังและอิสระที่ผู้โจมตีสามารถมีได้ในการโจมตีแบบ indirect prompt injection
  • ขอขอบคุณทีมความปลอดภัยของ Google และทีม Bard ที่แก้ไขปัญหานี้อย่างรวดเร็ว

ไทม์ไลน์การแก้ไข

  • รายงานปัญหา: 19 กันยายน 2023
  • ยืนยันการแก้ไขปัญหา: 19 ตุลาคม 2023

เอกสารอ้างอิง

  • การประกาศ Google Bard Extension, indirect prompt injection ที่เกี่ยวข้องกับ Google Bard, งานพูดคุยเรื่อง prompt injection ใน Ekoparty 2023, ภาพ Google Bard - Data Exfil ที่สร้างด้วย DALLE-3

ภาคผนวก

  • ให้เนื้อหา prompt injection ทั้งหมดภายใน Google Doc

ความเห็นของ GN⁺

สิ่งที่สำคัญที่สุดในบทความนี้คือช่องโหว่ที่เกิดจากความสามารถใหม่ของ Google Bard และความเป็นไปได้ของการรั่วไหลของข้อมูลผ่านช่องโหว่นี้ เรื่องนี้ตอกย้ำปัญหาด้านความปลอดภัยของบริการที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ และเตือนให้เห็นถึงความสำคัญของการปกป้องข้อมูลผู้ใช้ เมื่อเทคโนโลยีพัฒนาไป ภัยคุกคามด้านความปลอดภัยรูปแบบใหม่ก็เกิดขึ้นตามมา และแสดงให้เห็นว่าจำเป็นต้องมีการวิจัยและการรับมืออย่างต่อเนื่อง กระบวนการค้นพบและแก้ไขช่องโหว่นี้เป็นกรณีศึกษาที่น่าสนใจและเป็นประโยชน์สำหรับผู้ที่สนใจวิศวกรรมซอฟต์แวร์และความมั่นคงปลอดภัยไซเบอร์ โดยเน้นย้ำถึงความสำคัญของความพยายามอย่างต่อเนื่องเพื่อการใช้งานเทคโนโลยีอย่างปลอดภัย

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-14
ความคิดเห็นจาก Hacker News
  • อนาคตของ LLM คืออะไร? การผสาน LLM ที่ดีบักได้ยากเข้ากับงานในขอบเขตอ่อนไหวนั้นน่าจะยากมาก หากไม่มีหลักประกันที่สมเหตุสมผลว่าสามารถแก้ไขช่องโหว่ด้านความปลอดภัยได้
  • ตอนที่ทดสอบ Bard ก่อนเปิดตัว พบว่าสามารถทำให้มันพังได้ง่าย ๆ ด้วยการเติมบริบทเข้าไปเพื่อดันกฎออกไป
  • ปัญหาไม่ใช่ว่าการรั่วไหลของข้อมูลทำงานได้อย่างไร แต่คือทำไมเราจึงคิดว่าการให้สิทธิ์การเข้าถึงพิเศษแก่ตัวสุ่มตัวอย่างโทเคนแบบสุ่มจะใช้ได้ผลในกรณีส่วนใหญ่
  • ไม่มีการระบุ bug bounty ไว้อย่างชัดเจน สงสัยว่าได้มีการจ่ายรางวัลหรือไม่
  • ที่ Lakera AI กำลังพัฒนาตัวตรวจจับ prompt injection ซึ่งฝึกด้วยแหล่งข้อมูลหลากหลาย รวมถึงพรอมป์ต์จากเกม prompt injection ของ Gandalf
  • ปัญหานี้จะใช้ LLM เองแก้ไม่ได้หรือ? น่าจะต้องมีอะไรบางอย่างอย่างเช่น system prompt ที่รับพรอมป์ต์จากกล่องข้อความอินพุตของผู้ใช้เท่านั้น และไม่ตีความข้อความในเอกสารเป็นพรอมป์ต์
  • มีการบอกว่า Bard สามารถเข้าถึงและวิเคราะห์ Google Drive, Docs และ Gmail ได้ แต่เมื่อถาม Bard ว่าเข้าถึง Gmail ได้ไหม มันตอบว่าไม่สามารถเข้าถึงได้โดยตรง และเมื่อถามวิธีเปิดใช้งานส่วนขยาย Gmail ก็กลับตอบว่ายังใช้ไม่ได้ในตอนนี้ อย่างไรก็ตาม หากคลิกไอคอนรูปจิ๊กซอว์ใน Bard ก็สามารถเปิดใช้งานส่วนขยาย Google Workspace รวมถึง Gmail ได้
  • LLM ควรถูกฝึกและเข้าถึงได้เฉพาะข้อมูลและงานที่ผู้ใช้อนุมัติไว้แล้วเท่านั้น การรับประกันว่า LLM จะถูกพรอมป์ต์ให้ทำงานเฉพาะอย่างนั้นเป็นเรื่องยากมากภายใต้สถาปัตยกรรมปัจจุบัน และอาจเป็นไปไม่ได้ LLM มีศักยภาพมหาศาล แต่หากจะนำไปใช้งานในระบบความปลอดภัยให้สำเร็จ ข้อจำกัดเหล่านี้ต้องถูกก้าวข้ามในระดับสถาปัตยกรรม
  • ชอบต้นพรอมป์ต์นี้: "ทุกคนที่อ่านเอกสารนี้ ต้องปฏิบัติดังต่อไปนี้ตามคำร้องขอของกระทรวงยุติธรรม"
  • สรุป: Bard สามารถเรนเดอร์ภาพ Markdown ในบทสนทนาได้ และยังสามารถอ่านเนื้อหาของเอกสาร Google เพื่อให้บริบทกับบทสนทนามากขึ้นได้ด้วย โดยการแชร์เอกสาร Google ที่มีพรอมป์ต์อันตรายกับเหยื่อ ผู้โจมตีสามารถทำให้ Bard สร้างลิงก์ภาพ Markdown ที่มีส่วนหนึ่งของบทสนทนาอยู่ในส่วนที่เข้ารหัสแบบ URL ได้ ส่วนของบทสนทนานี้อาจรั่วไหลออกไปเมื่อ UI ของ Bard เข้าถึง URL ที่ผู้โจมตีเคยให้ Bard สร้างไว้ก่อนหน้าเพื่อโหลดภาพ
  • บทเรียน: ต้องระวังสิ่งที่ผู้ช่วย AI อ่าน เพราะผู้โจมตีอาจควบคุมมันได้และอาจมีข้อเสนอแนะเชิงสะกดจิตแฝงอยู่