ข้อผิดพลาดบิดเบือนความจริงที่พบใน Computational Photography ของ Apple
(appleinsider.com)- ภาพชุดเจ้าสาวของ Tessa Coates นักแสดงและคอเมเดียนชาวอังกฤษ เผยให้เห็นว่าตัวจริงและเงาสะท้อนในกระจกสองบานอยู่กันคนละท่า ทำให้เห็นช่องโหว่ของการประมวลผลภาพบน iPhone
- สาเหตุไม่ใช่ปรากฏการณ์เหนือจริง แต่เป็น ข้อผิดพลาดของ computational photography ที่ทำให้ iPhone ไม่สามารถจับคู่เงาสะท้อนในกระจกว่าเป็นคนเดียวกันได้
- ภาพนี้ถ่ายด้วย โหมดพาโนรามา และระหว่างที่ Coates ขยับตัว ภาพจากคนละช่วงเวลาก็ถูกนำมารวมเป็นภาพเดียว
- อัลกอริทึมของ Apple เลือกภาพที่ “ดีที่สุด” ของแต่ละบริเวณโดยอิงจากความอิ่มสี คอนทราสต์ รายละเอียด และความคมชัด ทำให้แต่ละกระจกถูกเลือกจากคนละช่วงเวลา
- ในฉากที่มีกระจกและการเคลื่อนไหวปะปนกัน แม้แต่สมาร์ตโฟนรุ่นใหม่ก็อาจสร้างภาพผสมที่ไม่ตรงกับความเป็นจริงได้ จนบางครั้งไม่อาจเชื่อผลลัพธ์ที่ถ่ายออกมาได้ทั้งหมด
ภาพหน้ากระจกที่กลายเป็นสามท่าทาง
- Tessa Coates นักแสดงและคอเมเดียนชาวอังกฤษ ถูกถ่ายภาพขณะลองชุดเจ้าสาวอยู่หน้ากระจก
- ในภาพมีทั้งตัว Coates เองและเงาสะท้อนในกระจกสองด้าน แต่ทั้งสามภาพอยู่กันคนละท่า
- กระจกด้านหนึ่งเป็นท่าปล่อยแขนลง
- อีกด้านเป็นท่าประสานมือไว้ด้านหน้าช่วงเอว
- ตัวจริงยืนโดยวางแขนซ้ายไว้ข้างลำตัว
- แม้ดูแปลกมาก แต่สาเหตุคือความผิดพลาดที่เกิดขึ้นในกระบวนการประมวลผลภาพของ iPhone
สิ่งที่เกิดขึ้นในไปป์ไลน์การถ่ายภาพของ iPhone
- iPhone ทำ การคำนวณหลายพันล้านครั้ง ในช่วงที่กดชัตเตอร์เพื่อสร้างภาพถ่ายหนึ่งใบ
- ในกรณีนี้ กล้องไม่สามารถรับรู้ได้ว่ากำลังถ่ายกระจกอยู่ และประมวลผลภาพทั้งสามของ Coates ราวกับเป็นคนละคน
- ขณะที่ Coates เคลื่อนไหว ระบบก็จับภาพหลายใบจากช่วงเวลาต่างกันของฉากเดียวกัน
โหมดพาโนรามาและการรวมภาพ
- ตามข้อมูลอัปเดต ภาพนี้ถ่ายด้วย โหมดพาโนรามา
- ในการถ่ายพาโนรามา กล้องจะเก็บหลายภาพขณะกวาดผ่านฉาก แล้วอัลกอริทึมจึงนำมาเย็บต่อกัน
- อัลกอริทึมของ Apple จะเลือกภาพที่ดีกว่าสำหรับแต่ละส่วนโดยพิจารณาจากความอิ่มสี คอนทราสต์ รายละเอียด และความคมชัด
- ภาพสุดท้ายควรเป็นผลลัพธ์ที่ตีความช่วงเวลานั้นได้ดีที่สุดและสมจริงที่สุด แต่เมื่อมีกระจกอยู่ในภาพ เงาสะท้อนแต่ละบานจึงคงไว้คนละช่วงเวลา
ทำไมจึงเกิด “Tessa สามคน”
- อัลกอริทึมไม่สามารถจับตัวจริงและเงาสะท้อนในกระจกสองบานว่าเป็นบุคคลเดียวกันได้
- เมื่อแต่ละบริเวณของกระจกถูกตัดสินว่าเฟรมคนละใบเหมาะสมกว่า ภาพสุดท้ายจึงมีท่าทางต่างกันอยู่พร้อมกัน
- ผลลัพธ์คือ ภาพผสม ที่ตัวจริงและเงาสะท้อนทั้งสองกำลังทำท่าคนละแบบ
ความสามารถในการทำซ้ำและข้อจำกัด
- ผลลัพธ์แบบนี้สามารถเกิดซ้ำได้ไม่เฉพาะบน iPhone รุ่นใหม่ แต่รวมถึงสมาร์ตโฟนหลายรุ่นด้วย
- สาเหตุมาจาก ข้อจำกัดของ computational photography ในการจัดการกับกระจก
- คนรุ่นใหม่บางส่วนเข้าใจปรากฏการณ์นี้และนำไปใช้สร้างภาพขำ ๆ สำหรับโซเชียลมีเดีย
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ผมคิดว่าบทความต้นฉบับ[0] ที่บทสรุปสั้น ๆ นี้อ้างถึงอาจเป็นแหล่งข้อมูลที่ดีกว่า
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
พวก purist คงจะไม่ชอบแนวคิดเรื่อง computational photography อยู่เสมอ แต่ผมชอบจริง ๆ ที่ iPhone ถ่ายภาพกลางคืน แสงน้อย และวัตถุเคลื่อนไหวแบบถือด้วยมือได้ดี
ผมเคยถ่ายภาพกลางคืนที่คิดว่าเซนเซอร์ขนาดเล็กทางกายภาพไม่น่าจะทำได้
ถ้าถามว่ามันสะท้อนฉากจริงในวินาทีนั้นได้สมบูรณ์แบบ 100% ระดับพิกเซลหรือไม่ ก็ไม่ แต่ผมไม่ได้ใส่ใจเท่าไร
เมื่อก่อนผมก็เคยทำ HDR exposure blending, focus stacking เพื่อให้ได้ชัดลึกตื้น และถ่ายพื้นที่คนแน่นหลาย ๆ ภาพแล้วต่อรวมเป็นภาพที่ไม่มีคนกับรถ ซึ่งทั้งหมดก็ไม่ใช่การจำลองฉากที่ตาเห็นอย่างสมบูรณ์แบบ แต่การรวมหลาย exposure ก็ทำหน้าที่ได้ดีในการเก็บวัตถุที่ต้องการ
ตัวเลนส์เองก็สร้างข้อบกพร่องและความเปลี่ยนแปลง และฟิล์มกับกระบวนการล้างก็เช่นกัน
แต่นั่นไม่ได้หมายความว่าการอยากมีสิทธิ์ตัดสินว่าอะไรถูกถ่ายและจะออกมาเป็นอย่างไร จะทำให้เป็น purist
ตัวเลือกเหล่านั้นคือสิ่งที่ทำให้ ภาพถ่ายเป็นศิลปะ
ท้ายที่สุดเทคโนโลยีนี้กำลังเอาการควบคุมนั้นไปจากผู้ใช้
ถ้าคุณโอเคให้ Apple ตัดสินวัตถุและรูปลักษณ์ของภาพถ่ายก็ไม่เป็นไร แต่ผมคิดว่าหลายคนคงไม่โอเค
อีกไม่นานกล้องอาจไม่หยุดแค่การเลือกเฟรมที่ดีที่สุดของแต่ละคน แต่จะเลือกดวงตาที่ดีที่สุด ปรับความสมมาตร เลือกโทนผิวที่ดูสวยที่สุดทางสุนทรียะ ฯลฯ
ในระดับหนึ่งมันก็เป็นแบบนั้นมาตลอด แต่เมื่อภาพถ่ายเลิกแสร้งว่าเป็น “ของจริง” แล้ว ก็ดูเหมือนหลีกเลี่ยงไม่ได้ที่จะไหลไปทางนั้น
ผมนึกถึงฉากใน WALL-E ที่ภาพเหมือนของกัปตันอ้วนขึ้นเรื่อย ๆ แต่จริง ๆ แล้วเมื่อเวลาผ่านไป กัปตันในภาพถ่ายน่าจะต้องดูมีเสน่ห์และเหมือนรูปสลักมากขึ้น
แม้ว่าในความเป็นจริงจะยังอ้วนอยู่ก็ตาม
มันถ่ายตอนกลางคืนได้ก็จริง แต่หลายครั้งถ้าเทียบกับสิ่งที่เซนเซอร์ของผมเองคือดวงตาเห็น ก็แทบจำไม่ได้
ไม่ใช่ความจริงที่ดีขึ้นนิดหน่อย แต่เหมือนกล้องตัดสินใจว่าจะจัดวางแสงอย่างไรในแบบที่ไม่เกี่ยวกับองค์ประกอบตรงหน้า
เคยมีบทความบอกว่า ในสถานการณ์ที่สมมติฐานของ iPhone ว่าแสงที่ดีคืออะไรพังลง มันก็ทำภาพบุคคลเสียไปเลย
บางครั้งผมชอบภาพจากมือถืออายุ 5 ปีมากกว่ามือถือรุ่นล่าสุด ไม่ใช่เพราะฮาร์ดแวร์ดีกว่า แต่เพราะการจูนแย่กว่า
ถ้าถ่ายสิ่งที่ไม่ค่อยมีอยู่ในโมเดล เช่น ช่องคลาน ท่อ หรือภาพระยะใกล้ในงานทันตกรรม ก็จะเกิดเรื่องน่าสนใจขึ้น
ผมเคยได้ผลลัพธ์ที่ใช้ไม่ได้เลยถ้าไม่ใช่โหมด RAW และเหมือนขั้นตอนประมวลผลภาพเชิงคำนวณไม่รู้เลยว่ากำลังทำอะไรอยู่
ไม่ใช่ข้อจำกัดของเซนเซอร์เท่าไร แต่บางครั้ง iPhone ใช้ดุลยพินิจมากขึ้นแล้วทำให้ภาพแย่ลงกว่าสมัยก่อนมาก
คนที่ต้องการให้ภาพบรรยายความจริงที่เซนเซอร์เห็นอย่างสมบูรณ์แบบระดับพิกเซลน่าจะมีแค่ตำรวจหรือเจ้าหน้าที่สอบสวนประกันภัย
ภาพถ่ายในฐานะศิลปะไม่เคยเกี่ยวกับความบริสุทธิ์ และคนส่วนใหญ่อยากได้ภาพที่สะท้อนสิ่งที่เราเห็นและวิธีที่เราเห็น แล้วก็ยอมรับขั้นตอนทางเทคนิคเพื่อเรนเดอร์สิ่งนั้น
ถ้าดวงจันทร์สวยและส่องภูมิทัศน์อย่างนุ่มนวล เราก็อยากได้ภาพที่มีทั้งดวงจันทร์สว่างและฉากหลังมืด ซึ่งอาจต้องใช้การคำนวณจำนวนมาก
แต่เจ้าสาวดอปเพลแกงเกอร์ ภาพ HDR เกินจริง และภูมิทัศน์ที่นกกับเสาถูกลบออก ไม่ใช่ฉากที่ใครสักคนเห็น
มันอาจเป็นภาพวาดที่ยอดเยี่ยมได้ แต่ส่วนตัวแล้วผมรู้สึกว่ามันก้าวเข้าสู่ศิลปะอีกประเภทที่ต่างจากภาพถ่าย
เมื่อไม่กี่เดือนก่อนผมเจอเรื่องคล้ายกันกับ Pixel 7
ในภาพกวางนี้: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
ถ้าซูมเข้าไปดู ทุกอย่างในระดับรายละเอียดดูเหมือนภาพสีน้ำมัน โดยเฉพาะหน้ากวางกับผนังด้านหลัง
ผนังจริงหรือกวางจริงไม่ได้หน้าตาแบบนั้นเลย และผมก็ไม่ได้ใช้ฟิลเตอร์
computational photography เจ๋งมากจริง ๆ แต่ก็น่ากังวลอยู่บ้าง
ภาพที่ถ่ายด้วย iPhone 6s ราวปี 2016 ก็จะดูคล้ายกันถ้าซูมเข้าไป
ลวดลายเหมือนโมเสกแบบนั้นดูสบายตากว่าภาพที่มี noise เยอะ
ตามกฎฟิสิกส์ เลนส์และเซนเซอร์ขนาดเล็กของมือถือมีข้อจำกัดในการรับแสง
ฮาร์ดแวร์ดีขึ้นมากแล้ว แต่ก็ยังไม่ถึงขีดจำกัด และถึงอย่างนั้นถ้ามือถือปล่อยภาพ RAW ที่เต็มไปด้วย noise โดยไม่ประมวลผลออกมาตรง ๆ คุณก็คงไม่ชอบ
การประมวลผลที่จำเป็นเพื่อแปลงไปเป็นกริดพิกเซลและ colorspace ที่ถูกต้องก็ไม่สามารถตัดออกได้เช่นกัน
Pixel 7 ไม่มีกล้องซูมเฉพาะ ถ้าซูมก็เป็น digital zoom และคุณภาพจะตกลงมาก
ขั้นตอนประมวลผลต้องใช้เฟรมคุณภาพต่ำ และผลลัพธ์แบบนั้นก็เกิดขึ้นบ่อย
ผู้ใช้มือถือไม่ควรต้องกังวลเรื่องนี้ แต่จากประสบการณ์ ในมือถือที่ไม่มีกล้องซูม มักจะดีกว่าถ้าถ่ายโดยไม่ซูมหรือไม่เกิน 2x แล้วค่อยครอปทีหลัง
บางทีใน Settings อาจลดระดับความแรงของการกรองได้
เรื่องแบบนี้เกิดขึ้นบ่อยขึ้นเรื่อย ๆ และดูเหมือนเป็นส่วนผสมที่น่ากลัวระหว่าง “การบีบอัดที่ดีขึ้น ตราบใดที่ไม่ไปส่องดูภาพจริง ๆ” กับ “การปรับปรุงด้วย AI”
เมื่อไม่กี่สัปดาห์ก่อน ผมถ่ายรูปลูกชายได้สวยมาก องค์ประกอบภาพ สีหน้า โฟกัส และแสงสมบูรณ์แบบหมด แต่มีปัญหาอยู่อย่างเดียว
อัลกอริทึมของโทรศัพท์ดันตัดสินใจว่าการลอกผิวของลูกชายออก แล้วเปลี่ยนให้เป็นพื้นผิวของผนังด้านหลังน่าจะดีกว่า
แน่นอนว่าคงเป็นความผิดของผมเองที่ซื้อโทรศัพท์ราคาถูกอย่าง Galaxy S22 Ultra และ S23 Ultra ก็คงดีกว่า แต่ตอนนั้นมันยังไม่ออก
ดังนั้นเพื่ออย่างน้อยจะกู้รูปในอนาคตได้ ผมเลยเปิด RAW แต่ RAW ใช้ได้เฉพาะในโหมดกล้อง “Pro” ที่ใช้งานไม่สะดวก และบางครั้งก็แอบกลับไปเป็นโหมดที่ไม่ใช่ Pro เงียบ ๆ
สุดท้ายก็ยอมแพ้แล้วติดตั้งแอปกล้องของบุคคลที่สาม
อย่างน้อย Mark ก็ไม่ได้ตั้งใจทำลายรูปของผม จึงน่าจะไว้ใจได้: https://play.google.com/store/apps/details?id=net.sourceforg...
นอกจากเวทมนตร์ลบ noise และปรับความสว่างอัตโนมัติในที่แสงน้อย กับฟีเจอร์แทนที่ดวงจันทร์โง่ ๆ แล้ว ก็ไม่รู้สึกว่ามันใช้ computational photography ด้วยซ้ำ
แค่เลนส์ 10x ก็ชนะ Apple แล้ว ไม่จำเป็นต้องทำเรื่องเหลวไหลเกี่ยวกับดวงจันทร์เลย
ผมว่าแอปกล้องพื้นฐานก็โอเคนะ
ถึงตัวอย่างพวกนี้จะยังไม่ใช่ตอนนี้ แต่ต่อไปน่าจะถูกสะสมและนำเสนอเป็นส่วนหนึ่งของ การต่อสู้คดีทางกฎหมาย
จะสมเหตุสมผลหรือไม่ก็ตาม กรณีสุดโต่งแบบนี้อาจทำให้ผู้พิพากษาและคณะลูกขุนบางคนเห็นว่ามีเหตุสงสัยตามสมควรได้
การดัดแปลงด้วย AI เกิดขึ้นจริง และขอบเขตของมันอาจคาดเดาได้ยาก
ที่แย่กว่านั้น คนที่อยู่ในเหตุระเบิดอาจถูกจับภาพให้ดูเหมือนแสดงปฏิกิริยาก่อนเกิดการระเบิด
เรามีสมมติฐานเรื่องเหตุและผลฝังอยู่ในตัว แต่ AI นี้ทำลายมันลง
ในสถานการณ์เฉพาะบางอย่าง มันอาจกลายเป็นเรื่องใหญ่มหาศาลได้
ครอบครัวของเราชอบถ่ายรูป พาโน-แฟรงเกนสไตน์
ถ้าถ่ายพาโนรามาลากผ่านใบหน้าขณะที่คนคนนั้นเปลี่ยนสีหน้าอย่างฉับพลันและรวดเร็ว โทรศัพท์จะพยายามเย็บใบหน้าให้เป็นภาพเดียวที่สอดคล้องกัน ทำให้ผลลัพธ์ออกมาค่อนข้างตลก
Google Pixel รุ่นล่าสุดเริ่มบันทึกเฟรมตั้งแต่วินาทีที่เปิดแอปกล้อง
เมื่อถ่ายภาพจริง มันจะใช้เฟรมก่อนหน้าบางส่วนเพื่อทำการรวมภาพแบบ HDR โดยแทบไม่มีดีเลย์
เรื่องคล้ายกันอาจเกิดขึ้นที่นี่ได้
ดูเหมือนระหว่างการประมวลผล มันเลือกค่าแสงที่เหมาะที่สุดสำหรับแต่ละส่วนของภาพจากเฟรมต่าง ๆ แล้วทำให้เกิดเอฟเฟกต์แบบนี้
มีคนที่เปิดกล้องทิ้งไว้เป็นชั่วโมง ๆ ขณะเดินเที่ยวสถานที่ใหม่ ๆ เพราะอยากถ่ายของเจ๋ง ๆ ได้ทันที แล้วก็มาบ่นว่าแบตหมดตอนเที่ยง
ผมไม่ค่อยแน่ใจว่านี่เป็นเรื่องจริงหรือเปล่า
Apple ไม่เคยพูดต่อสาธารณะว่าทำการดัดแปลงถึงระดับนี้ และแน่นอนว่านั่นไม่ได้แปลว่าไม่ได้ทำ แต่ช่วงการเคลื่อนไหวที่ผู้หญิงคนนั้นต้องผ่านภายในการจับภาพครั้งเดียวดูไม่น่าจะเป็นไปได้
ต่อให้มี Live Photos ก็ดูไม่น่าเกิดเรื่องแบบนี้
ถ้าเป็นเรื่องจริงก็ค่อนข้างพิลึกจนอยากเชื่อ แต่ก็ดูสมบูรณ์แบบเกินไปนิด
คิดว่าน่าจะมีใครสักคนกำลังพยายามพิสูจน์หรือหักล้างมันอยู่แล้ว
ผมอยู่ในเรือนผีเสื้อ แล้วภาพถ่ายระยะใกล้ลบขาของผีเสื้อออก เหลือไว้แค่ปีก
ลิงก์ภาพ: https://ibb.co/nwbw5xY
โทรศัพท์สันนิษฐานว่าขาเป็นส่วนหนึ่งของพื้นหลัง
เรื่องเดียวกันนี้เกิดกับเส้นผมด้วย
ขามันบาง จึงถูกตีความเป็น noise ได้ง่าย
โดยเฉพาะเมื่อใช้ดิจิทัลซูมและแสงน้อย พิกเซลจะมีน้อยมาก และ noise ของแต่ละพิกเซลก็สูงขึ้นด้วย
จากที่ได้ยินในพอดแคสต์เมื่อไม่นานมานี้[0] ถ้ากดปุ่มค้างไว้ในแอปกล้อง iPhone มันจะจับภาพเป็นชุด แล้วแสดงภาพหนึ่งที่มันตัดสินว่า “ดีที่สุด” เช่น ภาพที่ทุกคนลืมตา
แน่นอนว่านั่นไม่ใช่เรื่องเดียวกับสิ่งที่เกิดขึ้นที่นี่
เพราะผมมักพยายามเอาคนออกจากรูป เลยลืมทดสอบเรื่องนี้ทุกที
[0] น่าจะเป็นเอพิโสดนี้: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
ตอนนี้ถ้ากดปุ่มค้างไว้ มันจะเปลี่ยนไปบันทึกวิดีโอ
สำหรับคนที่ไม่ถ่ายวิดีโอแล้ว มันน่ารำคาญ
ถ้าใช้ปุ่มบนหน้าจอ สามารถปัดไปทางซ้ายเพื่อถ่ายรัวได้ แต่เท่าที่ผมรู้ ไม่มีวิธีสั่งถ่ายภาพรัวด้วยปุ่มปรับระดับเสียง
อาจเป็นไปได้ด้วยปุ่ม programmable ใหม่ใน iPhone 15 series
การถ่ายภาพจริง ๆ แล้วก็คือวิดีโอสั้น ๆ แล้วเลือกเฟรมที่ดีที่สุดจากในนั้น