They See Your Photos - ข้อมูลที่ภาพถ่ายเผยให้เห็น

 (theyseeyourphotos.com)
1 คะแนน โดย GN⁺ 2024-12-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เป็นการทดลองที่แสดงให้เห็นว่าภาพถ่ายส่วนตัวสามารถเผยให้เห็นได้ไม่เพียงวัตถุที่มองเห็น แต่ยังรวมถึง ข้อมูลส่วนตัว ด้วย
  • เมื่อผู้ใช้อัปโหลดภาพถ่ายหนึ่งภาพ จะสามารถตรวจสอบได้ว่า AI อ่านข้อมูลอะไรออกมาโดยใช้ Google Vision API
  • ประเด็นสำคัญไม่ใช่การวิเคราะห์โปรไฟล์จากการรวบรวมข้อมูลหลายแหล่ง แต่คือการที่สามารถอนุมานข้อมูลได้มากกว่าที่คาดแม้จาก ภาพถ่ายเพียงภาพเดียว
  • ไม่มีเนื้อหาเกี่ยวกับการวิเคราะห์ภาพหลายภาพหรือพฤติกรรมระยะยาว และขอบเขตอินพุตจำกัดอยู่ที่ภาพถ่ายหนึ่งภาพ
  • ทำให้สัมผัสได้โดยตรงว่าการแชร์หรืออัปโหลดภาพถ่าย หากผ่านการวิเคราะห์ด้วย AI อาจนำไปสู่การเปิดเผยข้อมูลที่ไม่ได้ตั้งใจ

ข้อมูลที่ภาพถ่ายหนึ่งภาพเผยให้เห็น

  • They See Your Photos เป็นการทดลองที่สร้างขึ้นเพื่อให้ผู้ใช้ตรวจสอบได้โดยตรงว่า AI มองเห็นอะไรในภาพถ่ายที่อัปโหลด
  • ภาพถ่ายสามารถเผยให้เห็น ข้อมูลส่วนบุคคล จำนวนมาก และการทดลองนี้มุ่งเน้นข้อมูลที่สามารถอนุมานได้จากภาพถ่ายเพียงภาพเดียว

วิธีใช้งาน

  • ผู้ใช้อัปโหลดภาพถ่าย
  • ระบบใช้ Google Vision API เพื่อตรวจสอบข้อมูลที่สามารถอ่านได้จากภาพถ่าย
  • ผ่านข้อความ “ดูสิ่งที่พวกเขาเห็น” ทำให้ผู้ใช้ได้สัมผัสว่า AI ตีความภาพถ่ายอย่างไร

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-12-15
ความคิดเห็นจาก Hacker News

  • magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
    คำสั่งนี้จะลบ เมทาดาทา EXIF ทั้งหมด เปลี่ยนคุณภาพ JPEG เฉือนขอบแต่ละด้านออก 10 พิกเซล รีไซซ์ตามสัดส่วนที่กำหนด ใช้ attenuation แล้วเพิ่ม noise ชนิด Uniform
    นอกจากนี้ attenuate ต้องมาก่อนสวิตช์ +noise ในบรรทัดคำสั่ง และยิ่งค่าคุณภาพ JPEG แย่ลง การตรวจจับว่าภาพถูกแก้ไขก็ยิ่งทำได้ยากขึ้น[1]
    สัดส่วนการรีไซซ์จะเป็นเลขทศนิยมอย่าง 91.5% หรือ 92.1% ก็ได้ นอกเหนือจากการตรวจจับภาพ AI แล้ว วิธีนี้ไม่ใช่แค่ลบเมทาดาทา แต่ยังทำให้ภาพแต่ละภาพที่เผยแพร่แตกต่างกัน และแตกต่างจากภาพต้นฉบับอย่างชัดเจนได้ด้วย
    [1] https://fotoforensics.com/tutorial.php?tt=estq

    • ต่อให้บอกว่า AI image detection notwithstanding ก็ไม่มีความหมายที่จะลองอยู่ดี แค่ทำให้เป็น ภาพที่คนดูแล้วแย่ลง เท่านั้น
    • ไม่มีอะไรรับประกันว่าวิธีนี้จะทนต่อ perceptual hashing (การแฮชเชิงการรับรู้) ได้
      https://en.wikipedia.org/wiki/Perceptual_hashing
    • แน่นอนว่าดีกว่าไม่ทำอะไรเลย แต่สงสัยว่ากับ perceptual hash แล้วจะทำงานอย่างไร ลองเล่น pHash ในเครื่องอยู่ราว 5 นาทีเพื่อทดสอบ แต่ไม่ได้ผลลัพธ์ที่เป็นประโยชน์ คงเป็นเพราะผมใช้ไม่ถูกเอง
    • การ ครอปหรือบีบอัดใหม่ รูปภาพก็ไม่ได้ช่วยมากนัก
      ดูจากการค้นหารูปภาพย้อนกลับของ TinEye การดัดแปลงแบบนี้ก็ยังจับคู่ได้ง่าย
      https://tineye.com/
    • ถ้ารูปภาพมี ลายน้ำ อยู่ จะลบด้วยวิธีแบบนั้นไม่ได้ ลายน้ำทนต่อ noise แบบสม่ำเสมอได้ง่าย แม้มากจนคนดูแทบรับไม่ไหว และโดยทั่วไปจะถูกบันทึกซ้ำไว้หลายตำแหน่งและหลายช่องสัญญาณ ทำให้ noise แบบสม่ำเสมอโดยมากถูกเฉลี่ยออกไป และการครอปก็แทบไม่ได้ผล
      ลายน้ำมักใส่สัญญาณไว้ในโมเดลสีที่ต่างจาก RGB หรือในบริเวณภาพที่ถูกแปลงไปมาก ดังนั้นจึงไม่ใช่การใส่ noise ไปตาม “แกน” ของสัญญาณลายน้ำด้วย ต่อการค้นหารูปภาพที่คล้ายกันก็แทบไม่มีผลเช่นกัน อัลกอริทึมแบบนี้จะหา แลนด์มาร์ก หลายสิบจุด แล้วค้นหารูปที่แชร์แลนด์มาร์กเหล่านั้นในสัดส่วนสูง สมัยก่อนแลนด์มาร์กคือคุณลักษณะเชิงเรขาคณิตที่คอนทราสต์สูงอย่างมุม ซึ่งแทบไม่ได้รับผลจาก noise ส่วนทุกวันนี้แลนด์มาร์กอาจเป็นอะไรก็ได้ที่โครงข่ายประสาทซึ่งฝึกมากับการดัดแปลงทั่วไปอย่างการบีบอัดและ noise เลือกขึ้นมา

  • เวลาจะใช้สิ่งนี้ ควรจำไว้ว่าคุณกำลังสละสิทธิ์ในการฟ้องผู้เขียนต่อศาล: https://theyseeyourphotos.com/legal/terms
    PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
    เงื่อนไขแบบนี้พบได้ทั่วไปในสหรัฐฯ และศาลสหรัฐฯ ก็ยอมรับมาอย่างต่อเนื่อง ที่น่าสนใจคือ Ente ไม่ได้ใส่ข้อให้ปฏิเสธได้ (opt-out) ที่มีอยู่ในเงื่อนไขทั่วไปไว้ตรงนี้ (https://ente.io/terms) เลยสงสัยว่าทำไมบริการเฉพาะตัวนี้ถึงทำเงื่อนไขที่เข้มงวดกว่าขึ้นมา

  • นี่ก็แค่ โฆษณาบริการรูปภาพของตัวเอง ถ้าไม่วิเคราะห์ด้วย AI ฟังก์ชันค้นหาก็คงแย่มาก ซึ่งนั่นเป็นหนึ่งในฟีเจอร์ที่ดีที่สุดของ Google Photos

    • ผมเป็นคนที่ทำงานกับบริการรูปภาพนั้น
      Ente มีระบบค้นหา[1] ที่ค่อนข้างดี ซึ่งขับเคลื่อนด้วย แมชชีนเลิร์นนิงบนอุปกรณ์[2]
      [1]: https://ente.io/blog/machine-learning
      [2]: https://ente.io/ml
    • การบอกว่าถ้าไม่มี AI แล้วการค้นหาจะห่วยนี่ก็เกินไปหน่อย Google ไม่ได้ผูกขาด การจดจำวัตถุและใบหน้า ในรูปภาพเสียหน่อย
      ไม่จำเป็นต้องป้อนรูปภาพเข้า AI ไร้หน้าแล้วใช้ไฟมหาศาล โซลูชันแบบโฮสต์เองก็ให้ฟังก์ชันพวกนั้นได้เพียงพอ
    • บริการชื่อ Ente ก็ยังได้เห็นรูปของผู้ใช้อยู่ดี เลยรู้สึกเหมือนโฆษณาแปลก ๆ
    • ถ้าอยากไม่ให้ Google อัปเดตโปรไฟล์ผู้ใช้/โฆษณาจากข้อมูลที่ได้จากรูปภาพ จะปฏิเสธได้อย่างไร?
    • ยิ่งมีบริษัทที่ ปฏิบัติต่อผู้ใช้เหมือนมนุษย์ ไม่ใช่ปศุสัตว์ มากเท่าไรก็ยิ่งดี

  • สิ่งนี้อาจยอดเยี่ยมทีเดียวสำหรับ การสร้างคำบรรยายภาพ ให้ผู้พิการทางสายตา แต่ไม่ได้ให้ insight เชิงลึกเกินกว่าสิ่งที่มองปราดเดียวก็รู้
    มีคำพูดยืดยาวแบบ “พยายามดูฉลาด” เยอะมาก เช่น สำหรับรูปกิ่งไม้ มันบอกว่า “ผู้สังเกตอย่างตั้งใจอาจสังเกตเห็นการเปลี่ยนแปลงอันละเอียดอ่อนของความหนาและพื้นผิวของกิ่ง ซึ่งบ่งชี้ถึงรูปแบบการเติบโตที่เป็นธรรมชาติและเป็นอินทรีย์”
    ขอบคุณนะ ไม่งั้นผมคงนึกว่าต้นไม้นั้นเป็นต้นไม้อนินทรีย์ที่ไม่เป็นธรรมชาติไปแล้ว

    • ดูเหมือนพรอมป์ต์จะมีคำสั่งอย่าง “อธิบายรายละเอียดปลีกย่อยของภาพถ่ายอย่างละเอียด” หรือ “สามารถสรุปอะไรจากสถานการณ์ได้บ้าง?”
      ไม่ว่าภาพไหนก็ดูเหมือนจะพยายามทำแบบนี้ ไม่ว่าจะมีรายละเอียดหรือความหมายแฝงที่น่าสังเกตหรือไม่ก็ตาม เข้าใจเจตนาที่อยากโชว์ การอนุมานแบบ Sherlock Holmes เพื่อสรุปข้อเท็จจริงที่ซ่อนอยู่จากภาพ แต่เมื่อโมเดลไม่มีอะไรให้ค้นพบ มันก็กลายเป็นเรื่องตลก
    • Facebook ทำ การสร้างข้อความทางเลือก ขั้นพื้นฐานมาหลายปีแล้ว ไม่ได้ดีที่สุด แต่ก็ดีกว่าไม่มีเลย เช่น “อาจเป็นภาพที่มีคน 4 คน คนกำลังยิ้ม และมีข้อความ”

  • ถ้าไม่ได้หลอนไปว่าเห็นต่างหูบนหูที่อยู่นอกเฟรม หรือบอกว่ารองเท้าข้างซ้ายของเด็กเท้าเปล่าอยู่นอกโฟกัส ก็คงน่ากลัวกว่านี้

    • ตอนนี้ที่โต๊ะกินข้าวแขวนของตกแต่งเป็นเทียนลอยแบบ Harry Potter ไว้ ผมอัปโหลดรูปที่เห็นมันชัดเจน แต่มันอธิบายทุกอย่างในห้องได้ยอดเยี่ยม ยกเว้นเทียนที่ถูกเมินไปโดยสิ้นเชิง
      ผมนึกภาพโมเดลกำลังคิดอย่างสุดชีวิตว่า “อย่าหลอนว่าเห็นเทียนลอย อย่าหลอนว่าเห็นเทียนลอย”
    • มันพยายามเดา สถานะทางเศรษฐกิจ ของเสือดาวหิมะ
      “ภาพนี้มีเสือดาวหิมะหนึ่งตัวเป็นจุดศูนย์กลาง และไม่มีคนอยู่ในภาพ สีหน้าของเสือดาวดูระแวดระวังและค่อนข้างระมัดระวัง แต่ไม่ก้าวร้าว จากภาพนี้ยากที่จะสรุปอายุหรือสุขภาพที่แน่ชัดของเสือดาว แต่ดูเหมือนเป็นตัวเต็มวัยที่มีสภาพร่างกายค่อนข้างดี ไม่มีเบาะแสที่บ่งชี้สถานะทางเศรษฐกิจหรือวิถีชีวิตอย่างชัดเจน”
    • ที่น่ากลัวก็เพราะมัน หลอน ทันทีนี่แหละ
    • ผมลองกับรูปสองสามใบ มันหลอนไปว่าเห็นอะไรบางอย่างบนแจ็กเก็ต หรือมีเสื้อผ้าชิ้นอื่นอยู่
      การได้เห็นช่วงเวลาที่มันสับสนนั้นน่าสนใจทีเดียว มันไม่ใช่ความรู้สึกแบบที่พอจะเดาได้ว่า “เออ บางทีมันอาจตอบแบบนั้นก็ได้” เหมือนการคำนวณคำของ LLM อาการหลอนทางภาพเป็นประเภท “นั่นมันไม่มีอยู่ในภาพเลยนะ…” มากกว่า

  • ผมขอบคุณความพยายามที่จะสร้างทางออกทางเทคนิคเพื่อหลีกเลี่ยงบิ๊กเทคอย่าง Google แต่ก็ยังคิดว่าวิธีที่ดีที่สุดคือ อัดรูป
    ในครอบครัว ปกติผมเป็น “คนดูแลรูป” หลังจบงานก็จะสั่งอัดรูปส่งไปบ้านญาติที่เกี่ยวข้อง หรือเอาไปให้เอง มีไม่กี่อย่างที่เทียบได้กับการได้ถือของจริงไว้ในมือ
    แถมการอัดรูปมีค่าใช้จ่ายเล็กน้อยด้วย จึงมีแรงจูงใจให้เลือกโชว์เฉพาะรูปดี ๆ ไม่กี่ใบจริง ๆ แทนที่จะปล่อยให้ไหลไปกับการเลื่อนดูแบบไม่สิ้นสุด

    • เคยตรวจดู นโยบายความเป็นส่วนตัว ของร้านล้างรูปหรือเครื่องพิมพ์ที่ใช้ไหม? พวกเขาอาจเก็บสำเนาดิจิทัลของรูป ขายให้บุคคลที่สาม ขายข้อมูลที่ได้จากรูป หรือส่งให้ตำรวจหรือหน่วยงานรัฐก็ได้
    • ถ้าแอปเก็บรูปทำให้ สั่งอัดรูป ได้ง่าย ๆ ก็อาจเป็นไอเดียธุรกิจที่ดี
    • อัดรูปที่ไหน?

  • ผมอัปโหลดรูปความเสียหายที่ปล่องไฟซึ่งเกิดจากปัญหา flashing แล้วมันให้มุมมองที่เฉียบคมอย่างคาดไม่ถึง แต่ดันบอกว่าบ้านผมเก่าและถูกปล่อยปละละเลย เฮ้ย แรงไปนะ
    อย่างไรก็ดี ถึงผมจะค่อนข้างกังขากับ AI ส่วนใหญ่ แต่การเอามาใช้ช่วยชี้ทิศทางที่ถูกต้องในงานซ่อมบ้านฟังดูน่าสนใจมาก เพราะแทบเป็นไปไม่ได้เลยที่จะหาช่างรับเหมาที่ไม่พูดมั่ว ราคาไม่แพง และมาโผล่จริง

  • ดูเหมือนเป็นสไตล์เดียวกับ LLM สมัยนี้ที่ พูดเยอะ แต่จริง ๆ ไม่ค่อยได้พูดอะไร ผมอัปโหลดรูปส่วนตัวไปสองสามใบ แต่นอกจากคำบรรยายฉากแบบธรรมดา ๆ แล้ว มันแทบไม่ได้ให้ข้อมูลที่ระบุตัวตนได้เลย
    เช่น: “พื้นหลังมีทั้งอาคารสมัยใหม่และอาคารเก่าผสมกัน ซึ่งเป็นลักษณะของเมืองยุโรป และเห็นสถาปัตยกรรมหลากหลายรูปแบบ”

    • ประสบการณ์ของผมค่อนข้างต่างออกไป ผมใส่รูปนี้เข้าไป:
      https://postimg.cc/yD4YZKFk
      ทั้งที่ผมค่อนข้างแน่ใจว่ารูปไม่มีข้อมูลตำแหน่ง แต่ประโยคแรกคือ “ภาพนี้แสดงภายใน Union Station ใน Chicago รัฐ Illinois” ตอนท้ายมีบทวิจารณ์ศิลปะที่ยังไม่ค่อยสุกงอมติดมาด้วย แต่มันทายสถานที่ที่ถูกต้อง ต้นคริสต์มาส และคนที่นั่งอยู่บนม้านั่งได้ถูกต้อง ส่วนวงแจ๊ซที่อยู่ด้านข้างมันพลาดไป

  • Ente ดูเหมือน Immich[0] ที่ผมโฮสต์เองกับครอบครัว แต่มี การเข้ารหัสแบบต้นทางถึงปลายทาง เพิ่มเข้ามา ผมชอบแบบที่ไม่เข้ารหัสมากกว่า เพราะถ้ามีอะไรพัง ไฟล์ก็ถูกเก็บไว้บนดิสก์ตามสภาพเดิม ทำให้กู้คืนได้ง่าย
    [0]: https://immich.app/

    • Ente CLI[0] มี บริการส่งออก ที่เข้าถึงคลาวด์แบบอ่านอย่างเดียว และรายการที่ถูกลบจะถูกเปลี่ยนชื่อ
      ไบนารี Go รันได้แทบทุกที่ รวมถึง NAS ส่วนใหญ่ แต่เพราะ Argon2 จึงต้องมี RAM อย่างน้อย 1GB เพื่อถอดรหัสมาสเตอร์คีย์
      [0] https://github.com/ente-io/ente/tree/main/cli
    • แปลกใจที่มันดูคล้าย Google Photos จริง ๆ ถ้า Google ขึ้นราคาอีก Immich อาจเป็นตัวเลือกทดแทนที่สมบูรณ์แบบก็ได้

  • “สำหรับหงส์ ไม่สามารถยืนยันอายุและรายละเอียดอื่น ๆ (ลักษณะทางเชื้อชาติ ชาติพันธุ์ สถานะทางเศรษฐกิจ วิถีชีวิต) ได้”
    ผมเป็นคนเพิ่มการเน้นเอง

    • ผมอัปโหลดภาพวาดหลายภาพ แล้วมันระบุอย่างชัดเจนกับภาพเหมือนแทบทุกภาพว่าไม่สามารถยืนยัน “ลักษณะทางเชื้อชาติ ชาติพันธุ์ สถานะทางเศรษฐกิจ วิถีชีวิต” ได้
      ผมไม่ใช่จิตรกรฝีมือเยี่ยม แต่รายละเอียดส่วนอื่น ๆ มันจับได้ค่อนข้างดี น่าจะเป็นเพราะพรอมป์ถามสิ่งเหล่านี้อยู่ และ AI ก็ลังเลที่จะตอบ แต่ถึงอย่างนั้นมันก็บอกว่าสไตล์ภาพทำให้ผู้วาดน่าจะเป็นผู้ชาย ซึ่งจริง ๆ ผมเป็นผู้ชาย และสไตล์การวาดของผมอาจจะดูเป็นผู้ชายมากกว่าก็ได้ แต่ผมไม่รู้ว่าจะวัดปริมาณเรื่องนั้นอย่างไร