Ghost Font - ฟอนต์ที่มนุษย์อ่านได้ แต่ AI อ่านยาก

 (mixfont.com)
4 คะแนน โดย GN⁺ 9 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Ghost Font เป็นการทดลองด้านการสื่อสารด้วยภาพที่สร้างตัวอักษรจากการเคลื่อนไหวของจุดที่เหมือนกับพื้นหลัง ทำให้มนุษย์รับรู้ข้อความในวิดีโอได้ แต่ AI ที่วิเคราะห์เฟรมแยกกันถอดความได้ไม่ง่าย
  • แทนที่จะใช้ฟอนต์ TTF แบบดั้งเดิม มันผสาน การเคลื่อนไหว·วิดีโอ·นอยส์·ข้อความล่อ เข้าด้วยกัน และเมื่อหยุดวิดีโอหรือจับภาพหน้าจอ จุดต่าง ๆ จะกลืนไปกับพื้นหลังจนข้อความไม่ปรากฏ
  • Claude Fable และ GPT Sol 5.6 Ultra ประสบความยากลำบากจนกว่าจะได้รับพรอมป์ต์บอกวิธีถอดความที่ถูกต้อง ส่วน ChatGPT 5.5 Pro วิเคราะห์นาน 19 นาที แล้วสร้างข้อความที่ไม่มีอยู่จริงขึ้นมา
  • เอเจนต์เฉพาะทางที่รันโค้ดในเครื่องสามารถวิเคราะห์การเคลื่อนไหวของจุดได้ จึงมีการเพิ่ม ข้อความล่อ ในแต่ละวิดีโอ แต่หากเป็นข้อมูลลับจริง ๆ ควรใช้การเข้ารหัสหรือรหัสผ่าน
  • มีความเป็นไปได้ในการนำไปใช้กับ CAPTCHA และเบนช์มาร์กการรู้จำภาพของ AI แต่สำหรับมนุษย์เองก็อ่านยากเช่นกัน และอาจถูกถอดความได้เมื่อโมเดลแบบ video-native ปรากฏขึ้น โค้ดสำหรับสร้างวิดีโอมีแผนจะเปิดเป็นโอเพนซอร์ส

ตัวอักษรที่สร้างด้วยการเคลื่อนไหว

  • Ghost Font บันทึกข้อความไม่ใช่ด้วยรูปทรงตัวอักษรแบบนิ่ง แต่ด้วยการเคลื่อนไหวของจุด
    • ผสานการเคลื่อนไหว วิดีโอ นอยส์ และตัวล่อ เพื่อแชร์ข้อความที่มนุษย์อ่านได้
    • ไม่ใช่ไฟล์ฟอนต์ TTF ทั่วไป แต่เป็นการทดลองเพื่อสำรวจว่าสามารถถ่ายทอดข้อความด้วยภาพในรูปแบบที่ AI เข้าใจได้ไม่ง่ายหรือไม่
  • แม้จะไม่คมชัดเท่าข้อความปกติ แต่มนุษย์สามารถระบุตัวอักษรที่เคลื่อนไหวได้ทันที ขณะที่โมเดล AI หลัก ๆ ถอดความได้ไม่ง่าย
  • เพลย์กราวด์ที่ให้มาเป็น โปรโตไทป์ สำหรับทดสอบแนวคิด
    • เมื่อป้อนคำไม่กี่คำ ตัวอักษรจะปรากฏขึ้นจากการเคลื่อนไหวของจุด
    • สามารถดูตัวอย่างข้อความที่ป้อนแบบเรียลไทม์ หรือดาวน์โหลดเป็นวิดีโอเพื่อแชร์และทดสอบเองได้
    • การประมวลผลทั้งหมดเกิดขึ้นในเครื่อง ข้อมูลจะไม่ถูกส่งไปยังเซิร์ฟเวอร์หรือแชร์ออกไป

โครงสร้างที่อ่านไม่ได้จากภาพนิ่ง

  • ตัวอักษรทั้งหมดประกอบด้วยจุดที่ดูเหมือนพื้นหลังทุกประการ และข้อความจะปรากฏเฉพาะจาก การเคลื่อนไหวตามเวลา ของจุดเท่านั้น
  • เมื่อหยุดวิดีโอ จุดนิ่ง ๆ จะปะปนกัน ทำให้ยากที่จะรู้ว่ามีข้อความใดอยู่ในนั้นจากเฟรมเดียว
  • แม้จะจับภาพหน้าจอของหน้าเว็บหรือแยกภาพแต่ละภาพจากวิดีโอ ก็จะไม่เผยข้อมูลข้อความที่อ่านได้

จาก ZXX สู่ Ghost Font

  • นักออกแบบ Sang Mun เปิดตัวฟอนต์ ZXX ในปี 2013 ซึ่งมนุษย์อ่านได้ แต่ซอฟต์แวร์รู้จำอักขระด้วยแสง (OCR) อ่านได้ยาก
    • ประกอบด้วยฟอนต์สี่แบบ โดยปลอมตัวอักษรเป็นนอยส์ ขีดทับด้วยเส้น หรือซ่อนไว้ใต้เครื่องหมายปลอม
    • ในเวลานั้นถูกมองว่าเป็นฟอนต์ที่ช่วยหลบเลี่ยงการสอดส่องได้ แต่เอเจนต์ AI สมัยใหม่สามารถอ่านข้อความที่เรนเดอร์ด้วย ZXX ได้อย่างง่ายดาย
  • เมื่อนำภาพ ZXX ป้อนเข้าโหมด Instant ของ ChatGPT 5.5 มันสามารถรู้จำคำและรายละเอียดเล็ก ๆ บางส่วนได้ด้วยพรอมป์ต์เพียงครั้งเดียว
  • ในทางกลับกัน หน้าจอเดียวของ Ghost Font จะแสดงเพียงจุดนิ่งที่อ่านไม่ได้ จึงยากที่จะได้ข้อความด้วยการวิเคราะห์ภาพแบบเดียวกัน
    • ChatGPT 5.5 Pro วิเคราะห์นาน 19 นาที แล้วสร้างข้อความที่ไม่ได้มีอยู่จริงขึ้นมา

การวิเคราะห์ด้วยโค้ดและข้อความล่อ

  • การใช้วิดีโอเพียงอย่างเดียวไม่ได้เป็นการป้องกันที่สมบูรณ์
    • สภาพแวดล้อมโมเดลออนไลน์อาจค้นหาข้อความจากแต่ละเฟรมไม่พบ
    • เอเจนต์เฉพาะทางที่มีสภาพแวดล้อมรันโค้ดในเครื่องสามารถวิเคราะห์การเคลื่อนไหวของจุดและถอดความข้อความจริงได้
  • Ghost Font เพิ่ม ข้อความล่อ ลงในทุกวิดีโอที่สร้างขึ้นเพื่อทำให้การวิเคราะห์ยากขึ้น
    • หากเอเจนต์ที่ค้นหาข้อความที่ซ่อนอยู่พบตัวล่อก่อน ก็อาจตัดสินว่านั่นคือข้อความจริง
    • เลเยอร์นี้ทำให้แม้แต่โมเดลให้เหตุผลที่ทรงพลังอย่าง Fable และ GPT Sol 5.6 Ultra ก็ยังถอดความได้ยาก
  • Claude Fable และ GPT Sol 5.6 Ultra สามารถใช้โค้ดได้ แต่ก็ยังถอดความข้อความเคลื่อนไหวได้ยากจนกว่าจะได้รับพรอมป์ต์บอกอย่างชัดเจนว่าควรมองหาเทคนิคใด

ข้อจำกัดในฐานะมาตรการความปลอดภัย

  • หากต้องซ่อนข้อความจริง ๆ ควรใช้ การเข้ารหัส หรือคีย์เฉพาะ ไม่ใช่ Ghost Font
    • ข้อความที่เปิดได้ด้วยรหัสผ่านที่มีแต่มนุษย์เท่านั้นที่รู้ AI ก็อ่านไม่ได้หากไม่มีรหัสผ่าน
  • เป้าหมายของ Ghost Font ไม่ใช่ความปลอดภัยสมบูรณ์แบบ แต่เป็นการทดสอบว่าสามารถใส่ข้อความภาพที่มนุษย์มองเห็นได้แต่ AI อ่านได้ไม่ง่ายลงในไฟล์ที่แชร์ได้หรือไม่
  • นอกจากนี้ยังเป็นความพยายามในการสำรวจขีดจำกัดของความสามารถในการรับรู้ของ AI พร้อมกับรักษาองค์ประกอบที่เป็นเอกลักษณ์ของมนุษย์ไว้
    • ในยุคที่ AI ถูกใช้กับ การสร้างฟอนต์ ด้วย ก็หวังว่ามนุษย์จะยังคงรักษาเสียงสร้างสรรค์ที่เป็นเอกลักษณ์ของตนเองต่อไป

ความเป็นไปได้กับ CAPTCHA และเบนช์มาร์ก AI

  • ตัวอักษรเคลื่อนไหวมีความเป็นไปได้ที่จะนำไปใช้กับ CAPTCHA
    • ในสถานการณ์ที่ AI แก้ CAPTCHA จำนวนมากได้ง่าย การเคลื่อนไหวในวิดีโออาจเป็นโจทย์ที่ทำให้บอตอัตโนมัติถอดความได้ยากขึ้น ขณะที่มนุษย์อ่านได้ค่อนข้างง่ายกว่า
  • ยังมีแนวทางนำไปใช้เป็นเบนช์มาร์กเพื่อวัดพัฒนาการด้านการรับรู้ภาพของ AI
    • โมเดลมัลติโมดัลในปัจจุบันส่วนใหญ่ยังอิงกับภาพ และแม้จะรับวิดีโอเข้าไป ก็มักจะแบ่งเป็นเฟรมแล้ววิเคราะห์ภาพแต่ละภาพ
    • คาดว่าเมื่อโมเดลแบบ video-native ปรากฏขึ้นในอนาคต มันจะสามารถประมวลผลการเคลื่อนไหวโดยตรงและอ่านข้อความของ Ghost Font ได้

ช่องว่างที่แคบลงระหว่างมนุษย์กับ AI

  • Ghost Font อ่านยากสำหรับ AI แต่ก็ อ่านยากมากสำหรับมนุษย์เช่นกัน
  • เมื่อความสามารถในการรับรู้ภาพของ AI พัฒนาอย่างรวดเร็ว ช่องว่างด้านการรับรู้ระหว่างมนุษย์กับ AI ก็แคบลงอย่างต่อเนื่อง
  • ขั้นต่อไปมีแผนจะเปิดโค้ดสร้างวิดีโอเป็นโปรเจกต์โอเพนซอร์ส
    • จะขยายให้รองรับขนาดหน้าจอที่ใหญ่ขึ้นและประมวลผลสตริงที่ยาวขึ้นได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 9 시간 전
ความคิดเห็นจาก Hacker News

  • CAPTCHA แบบนี้มีอยู่แล้ว และหลบเลี่ยงได้ง่าย แค่เลียนแบบการ เฉลี่ยตามแกนเวลา โดยนำเฟรมต่อเนื่องสัก 4 เฟรมมาเฉลี่ยกัน ตัวอักษรก็จะเด่นขึ้น และแม้แต่โมเดลภาษาขนาดใหญ่พื้นฐานก็อ่านได้
    วิธีนี้ใช้ได้กับเทคนิคป้องกัน AI อีกหลายแบบ จึงมีโอกาสสูงว่าจะไม่ทำให้ตัวสแครปเปอร์ช้าลงมากนัก

  • ดูเหมือนว่าน่าจะใช้เทคนิค การบีบอัดวิดีโอ ทั่วไปกับ Ghost Font ก่อน แล้วค่อยกู้คืนเส้นขอบตัวอักษรจากสัญญาณที่ถูกบีบอัดและวิเคราะห์ด้วย OCR ได้ อาจเป็น CAPTCHA รูปแบบใหม่ แต่ถ้าเกมแมวจับหนูเริ่มขึ้น มันก็คงไม่ได้ยากกว่าวิธีเดิมอย่างมีนัยสำคัญ

    • สุดท้ายก็น่าจะมี คำสั่ง ffmpeg สำหรับจัดการสิ่งนี้อยู่ที่ไหนสักแห่ง
    • แค่ใช้ฟิลเตอร์กับภาพหน้าจอสองภาพก็ได้ผลลัพธ์แบบนี้แล้ว
      https://fingswotidun.com/images/GhostFont_2_samples.jpg
      https://fingswotidun.com/images/GhostFont_b_2_samples.jpg
      ถ้าเป็น AI ก็ไม่ต้องกดปุ่มแคปหน้าจอแบบงุ่มง่าม แต่ใช้เฟรมต่อเนื่องแทน และเก็บตัวอย่างได้มากพอจากวิดีโอที่สั้นกว่าระยะเวลาที่คนใช้ในการอ่าน เพื่อกู้ข้อความให้คมชัดได้
    • มันอาจใช้แทน CAPTCHA เดิมได้ แต่ไม่ให้ ผลพลอยได้ แบบการฝึกภาพที่ยังไม่ยืนยันด้วยข้อมูลที่ผู้ใช้ส่งเข้ามา หรือการเสริมป้ายกำกับให้ชิ้นส่วนภาพเดิม

  • ตอนแรกฉันนึกว่า “Written In Ghost Text” คือประโยคที่ต้องอ่าน และกว่าจะรู้ว่าเป็นข้อความล่อก็ใช้เวลาอยู่พักใหญ่ ประโยคจริงอ่านยากพอๆ กับภาพ Magic Eye 3D และพอดูบนหน้าจอมือถือถึงขั้นปวดหัว
    ไอเดียงานวิจัยน่าสนใจดี แต่ก็สงสัยว่าเมื่อไรโมเดล AI จะรู้วิธีถอดมันออกมาได้ และดูเหมือนแค่ปรับพรอมป์ต์อีกนิดก็น่าจะทำได้แล้ว

    • สำหรับฉันกลับตรงกันข้ามเลย ข้อความจริง อ่านง่ายมาก แต่ “Written in Ghost Text” จางจนถ้าไม่มีคอมเมนต์นี้ก็คงไม่ทันสังเกตเลย
    • สำหรับคนที่ดูภาพ Magic Eye ไม่ออกอย่างฉัน ข้อความช่วยก็ไม่เห็นเหมือนกัน AI อ่านออกได้จากหลายตัวอย่าง ดังนั้นในระยะยาวก็มีโอกาสที่ AI จะอ่านได้ดีกว่ามนุษย์
    • จริงเหรอ? สำหรับฉันเห็นแค่ประโยคนั้นเท่านั้น
    • ฉันอ่านข้อความล่อไม่ออกเลยแม้แต่นิดเดียว

  • พอเอาวิดีโอที่อัดไว้ให้ GPT-5.6 มันก็อ่านข้อความได้ไม่มีปัญหา โดยประเมินการเคลื่อนไหวของภาพจาก optical flow และแผนที่การเลื่อนในแนวตั้ง แล้วรวมมันเป็นแผนที่การเคลื่อนไหวแบบคอนทราสต์สูง โดยฉันไม่ได้สั่งวิธีเฉพาะ แค่ถามว่ามันเขียนว่าอะไร

    • ลองใส่ให้ Fable พร้อมพรอมป์ต์ว่า “What does the message say?” ก็จับได้ไม่มีปัญหาเหมือนกัน กระบวนการให้เหตุผลก็น่าสนใจ: https://imgur.com/a/GToXs6W
    • มันไม่ได้ตรวจจับข้อความล่อ แต่ไปอ่านข้อความที่ฉันป้อนเอง โดยไล่ทำทั้งตรวจเมทาดาทาวิดีโอและวิเคราะห์เฟรม, ตรวจจับคาบของสเตอริโอแกรม, ทำภาพเบลอ/ย่อขนาด, คำนวณการเลื่อนเฟรมกับ cross-correlation, ตรวจด้วย OpenCV, ปรับ optical flow ให้เหมาะสม, ประมาณการเลื่อนแนวตั้ง และปรับปรุงการดึงข้อความตามลำดับ
    • อยากรู้ว่ามีลิงก์ไปยังบทสนทนานั้นไหม

  • ฉลาดดี แต่ไม่ได้ถึงกับแตกด้วยอัลกอริทึมไม่ได้ แค่เลื่อนดัชนีของหนึ่งในสองเฟรมต่อเนื่องไปเรื่อยๆ เพื่อหาตำแหน่งที่ความต่างต่ำสุด จากนั้นเอาเฟรมที่จัดแนวแล้วมาลบกันแล้วทำ OCR ก็ได้
    มันเวิร์กเป็นพิเศษเมื่อการเคลื่อนไหวเป็นเชิงเส้นหรือไปทางเดียว และด้วยโค้ด 20 บรรทัดที่ตรวจเฉพาะการเลื่อนแนวตั้ง ผลจากการลบเฟรม 7 ออกจากเฟรม 1 เป็นดังนี้: https://imgur.com/a/only-human-can-read-this-vfDe6ZA

    • วิธีนี้เปราะกับ false positive และโดยรวมก็มีต้นทุนการคำนวณสูง Ghost Font เองก็ดูเป็นเทคนิคที่ค่อนข้างแข็งแรง
    • อยากรู้ว่าพอจะแชร์โค้ดได้ไหม

  • ฉันเอาภาพหน้าจอของข้อความพื้นฐาน “GHOST FONT” ไปวางใน ChatGPT 5.6 Sol แล้วบอกให้อ่าน มันประมวลผลอยู่พักหนึ่งก่อนตอบว่า “WHAT HAPPENS IN VEGAS / STAYS IN VEGAS”

    • ข้อความนี้ไม่ใช่ภาพนิ่งแต่เป็นวิดีโอ และแต่ละเฟรมประกอบด้วยจุดสุ่ม ดังนั้นในเฟรมเดี่ยวจึงไม่มีประโยคที่ตั้งใจไว้
      มันอาศัยข้อเท็จจริงที่ว่าโมเดลระดับท็อปยุคนี้ประมวลผลวิดีโอแบบทีละเฟรม และในแต่ละเฟรมก็มี ข้อความล่อที่ซ่อนอยู่ ซึ่งทำให้โมเดลคิดว่าหาคำตอบเจอแล้วและหยุดไป ถ้าวิเคราะห์ความสัมพันธ์ระหว่างเฟรมก็อาจมองออกว่าใช้เทคนิคอะไร แต่ในเฟรมเดี่ยวจะมีแค่สัญญาณรบกวนกับข้อความล่อเท่านั้น
    • สิ่งที่ทำให้อ่านข้อความได้คือ การเคลื่อนไหว ดังนั้นจึงยากจะคาดหวังคำตอบที่ต้องการจากภาพหน้าจอที่มีแต่สัญญาณรบกวน แต่พอกลับไปดูอีกทีก็พบว่าในภาพนิ่งก็มีคำว่า “WRITTEN IN GHOST FONT” อยู่จริง

  • ในเมื่อคนก็ยังอ่านยาก ถ้ามันสำคัญขึ้นมา AI ก็น่าจะถูกฝึกให้อ่านได้อยู่ดี แบบนั้นก็สงสัยว่า ประโยชน์ใช้งานจริง คืออะไร

    • โปรเจ็กต์วิจัยไม่จำเป็นต้องใช้งานได้จริงเสมอไป การสำรวจพื้นที่นี้และแบ่งปันสิ่งที่ค้นพบก็มีคุณค่าในตัวเอง

  • ในทางกลับกัน ฉันอยากเห็น ฟอนต์ที่มีแต่ AI อ่านได้ เหมือนกัน

  • เทคนิคนี้แข็งแรงดี แต่สุดท้ายคำตอบปลายทางน่าจะเป็นเรื่อง attestation อย่างน่าเสียดาย

  • ถ้าพูดให้เป๊ะ มันไม่ใช่ฟอนต์ที่ต้องหยุดนิ่ง แต่เป็น เอฟเฟกต์วิดีโอ มากกว่า คล้ายกับการปิดหนังสือแล้วถ่ายรูป จากนั้นบอกว่ากล้องอ่านฟอนต์นั้นไม่ได้
    ฉันลองป้อนทั้งเฟรมเดี่ยวและวิดีโอ 1 วินาทีให้ GPT 5.6 Sol (High) ดู ปรากฏว่าเฟรมเดี่ยวมันใช้เวลา 9 นาที 30 วินาทีในการถอดว่า “WRITTEN IN GHOST FONT” เดโมแสดงแค่ “GHOST FONT” แต่ในภาพที่สกัดออกมากลับเห็นเป็นรูปคำว่า “Ghost Font” จริง
    สำหรับวิดีโอ มันใช้เวลา 3 นาทีถึงจะรู้ว่าเป็นเอฟเฟกต์ที่นิยามด้วยการเคลื่อนไหว และขอให้รัน QuickTime พร้อมระบุว่า “ไม่มีชั้น OCR แบบสถิตที่อ่านได้ และกำลังดึงรูปร่างตัวอักษรจากสนาม optical flow” พอครบ 4 นาทีก็ได้ภาพการเคลื่อนไหวที่มีรูปทรงคล้ายตัวอักษร และหลังวิเคราะห์เพิ่มอีก 9 นาทีจึงคืนคำตอบ “GHOST FONT” รวมเป็น 13 นาที 36 วินาที
    เพราะฉะนั้นมันไม่ใช่ฟอนต์ ไม่ได้อ่านได้โดยทุกคน และก็ไม่ใช่ว่า AI อ่านไม่ได้ ภาพระหว่างทางดูได้ที่ https://imgur.com/a/SHlGu4O

    • “WRITTEN IN GHOST FONT” เป็น ข้อความล่อแบบนิ่ง ที่ไม่เกี่ยวกับเนื้อหาที่ป้อนเข้าไป สามารถยืนยันได้ด้วยการถ่ายหน้าจอแบบเปิดรับแสงนานด้วยสมาร์ตโฟนหรืออุปกรณ์คล้ายกัน