กล้อง “meta-optics” ขนาดเท่าเม็ดเกลือ
(cacm.acm.org)- นักวิจัยจาก Princeton University และ University of Washington สร้างกล้อง meta-optics ที่มี ขนาดเท่าเม็ดเกลือ และเสนออุปกรณ์ถ่ายภาพที่ เล็กกว่า 500,000 เท่า เมื่อเทียบกับกล้องทั่วไปที่ให้คุณภาพภาพระดับเดียวกัน
- วาง nano-antenna ทรงกระบอก 1.6 ล้านตัวบน metasurface กว้าง 0.5 มม. และเพิ่มความเป็นไปได้ในการย่อขนาดด้วยโครงสร้างที่ผลิตได้คล้ายชิปเซมิคอนดักเตอร์
- กล้อง meta-optics แบบเดิมยังมีข้อจำกัดในการสร้างภาพสีเต็มรูปแบบที่คมชัดและมีมุมมองกว้าง แต่อุปกรณ์นี้สร้างภาพ สีเต็มรูปแบบและมุมมองกว้าง ได้ด้วยคุณภาพใกล้เคียงกล้องทั่วไป
- นักวิจัยใช้ไปป์ไลน์แบบบูรณาการฮาร์ดแวร์และซอฟต์แวร์ โดยคำนวณการออกแบบ nano-antenna อย่างรวดเร็วด้วยการปรับแต่งด้วย AI และใช้ โครงข่ายประสาทอิงฟิสิกส์ เพื่อลบความคลาดที่กล้องสร้างขึ้น
- อาจนำไปสู่การประยุกต์ใช้ เช่น กล้องเอนโดสโคปที่เล็กลง กล้องในสมาร์ทโฟน·อุปกรณ์สวมใส่·AR/VR โดรน อาร์เรย์ที่ทำให้พื้นผิวทั้งหมดกลายเป็นกล้อง และกล้องโทรทรรศน์น้ำหนักเบาพิเศษสำหรับอวกาศ
กล้อง meta-optics ขนาดเท่าเม็ดเกลือ
- นักวิจัยจาก Princeton University และ University of Washington สร้าง กล้อง meta-optics ให้มีขนาดเท่ากับเม็ดเกลือหนึ่งเม็ด
- กล้องนี้มีขนาดเล็กกว่ากล้องทั่วไปมาก แต่ตั้งเป้าให้ได้ คุณภาพภาพสีเต็มรูปแบบ ในระดับเดียวกับกล้องทั่วไป
- เมื่อเทียบกับกล้องทั่วไปที่จับภาพคุณภาพระดับเดียวกัน อุปกรณ์นี้ เล็กกว่า 500,000 เท่า
- อุปกรณ์นี้เป็นระบบกล้องขนาดจิ๋วที่นักวิจัยพัฒนาขึ้น และมีพื้นฐานจากเทคโนโลยี metasurface
- ใน metasurface มีเสาทรงกระบอก 1.6 ล้าน ต้นฝังอยู่
- วิธีการผลิตคล้ายกับการผลิตชิปคอมพิวเตอร์
ข้อจำกัดของเลนส์แบบเดิมและแนวทาง metasurface
- ในการออกแบบกล้อง ข้อจำกัดหลักคือ การประนีประนอมระหว่างขนาดกับปริมาณแสง ซึ่งต้องทำให้อุปกรณ์เล็กที่สุดเท่าที่เป็นไปได้ แต่ยังต้องบันทึกแสงได้มาก
- สมาร์ทโฟนเป็นตัวอย่างที่แม้ตัวเครื่องจะบางลง แต่โมดูลกล้องกลับใหญ่ขึ้นและนูนออกมา เพราะต้องใส่เลนส์หลายชิ้นเพื่อคุณภาพภาพที่สูงขึ้น
- metasurface เป็นวัสดุประดิษฐ์ที่ควบคุมแสงได้ด้วยวิธีเฉพาะตัว
- เป็นโครงสร้างระนาบบางพิเศษ กว้างประมาณ 0.5 มม.
- บนพื้นผิวมีเสาทรงกระบอกหลายล้านต้นที่เรียกว่า “nano-antenna”
- nano-antenna แต่ละตัวสามารถปรับให้กำหนดรูปแบบของแสงในวิธีเฉพาะได้
- เลนส์หักเหมาตรฐานปรับปรุงประสิทธิภาพผ่านรูปทรงผิวเลนส์และการเปลี่ยนวัสดุ แต่ metasurface สามารถปรับแสงได้ในระดับ ต่ำกว่าความยาวคลื่น
- เลนส์ meta-optic ของกล้องนี้มีขนาด 0.5 มม. ส่วนเซนเซอร์มีขนาด 1 มม. และได้รับการออกแบบให้ metasurface เดี่ยวมีความสามารถในการบังคับทิศทางแสงมากกว่าเลนส์แบบดั้งเดิม
ความแตกต่างจากกล้อง meta-optics รุ่นก่อนหน้า
- นักวิจัยไม่ได้มุ่งเน้นเพียงแนวคิดของการใช้ metasurface ในกล้อง แต่เน้นการสร้างคุณภาพที่ใช้กับงานภาพจริงได้
- แนวทางเดิมยังไปไม่ถึงการออกแบบกล้อง meta-optics ที่จับภาพ สีเต็มรูปแบบ ได้คมชัดและมีมุมมองกว้าง
- อุปกรณ์นี้ถูกแนะนำว่าเป็น nano-optic imager ที่ไม่ขึ้นกับโพลาไรเซชัน คุณภาพสูงตัวแรกสำหรับการถ่ายภาพสีเต็มรูปแบบและมุมมองกว้าง
- แม้เมื่อเทียบกับกล้องทั่วไปที่ใหญ่กว่าในระดับหนึ่งหลัก คุณภาพภาพก็อยู่ในระดับเทียบเท่ากัน
การออกแบบด้วย AI และไปป์ไลน์หลังประมวลผล
- นักวิจัยปรับปรุงทั้งการออกแบบฮาร์ดแวร์และการประมวลผลหลังถ่ายด้วยซอฟต์แวร์ เพื่อลดข้อจำกัดของระบบถ่ายภาพ meta-optics ก่อนหน้า
- ขั้นตอนแรกคือการคำนวณ การออกแบบ nano-antenna บน metasurface ด้วยอัลกอริทึมปรับแต่งด้วย AI
- การจำลองการตอบสนองเชิงแสงของ metasurface และการคำนวณ gradient ที่เกี่ยวข้องมีต้นทุนการคำนวณสูง
- นักวิจัยสร้าง “proxy” ที่ประมาณฟิสิกส์ของ metasurface ได้อย่างรวดเร็ว เพื่อคำนวณการออกแบบอย่างรวดเร็ว
- ขั้นตอนที่สองคือการประมวลผลภาพที่กล้องจับได้ด้วย โครงข่ายประสาทอิงฟิสิกส์
- โครงข่ายประสาทนี้ได้รับการฝึกโดยอิงฟิสิกส์ของ metasurface
- สามารถลบความคลาดที่กล้องสร้างขึ้นได้
- นักวิจัยปฏิบัติกับ metasurface เป็นเลเยอร์ที่หาอนุพันธ์ได้และปรับแต่งได้ จึงปรับแต่งเหมือน เลเยอร์โครงข่ายประสาทเชิงแสง ที่คำนวณด้วยแสง
- ตัวจำลองฟิสิกส์ของ metasurface และอัลกอริทึมหลังประมวลผลถูกผสานเป็นไปป์ไลน์เดียว
- ไปป์ไลน์นี้ใช้ในการสร้างกล้อง meta-optic จริง
- สร้างภาพที่จับได้กลับเป็นภาพสีเต็มรูปแบบคุณภาพสูง
- สำหรับการใช้งานแบบแถบกว้าง หากต้องการให้เลนส์ทำงานได้ถูกต้อง จำเป็นต้องใช้แนวทางที่ ผสานกับการประมวลผลเชิงคำนวณ
การประยุกต์ใช้ทางการแพทย์ อุปกรณ์ผู้บริโภค และโดรน
- สาขาการใช้งานที่ตรงที่สุดคือ ภาพทางการแพทย์
- ยิ่งกล้องเล็กเท่าใด ความรุกล้ำต่อร่างกายก็ยิ่งลดลง
- กล้องเอนโดสโคปขนาดจิ๋วที่ใช้กล้อง meta-optics อาจทำให้การวินิจฉัยและการผ่าตัดแบบไม่รุกล้ำแบบใหม่เป็นไปได้
- ยังมีความเป็นไปได้ในการถ่ายภาพส่วนต่าง ๆ ของร่างกายที่เข้าถึงได้ยากด้วยเทคโนโลยีปัจจุบัน
- ในฮาร์ดแวร์สำหรับผู้บริโภค ก็สามารถออกแบบกล้องและเลนส์ให้เล็กกว่าอุปกรณ์ปัจจุบันในระดับหนึ่งหลักได้
- หน้าจอสมาร์ทโฟนหรือด้านหลังของสมาร์ทโฟนเองอาจกลายเป็นกล้องได้
- สามารถใส่กล้องคุณภาพสูงลงบนพื้นผิวของอุปกรณ์สวมใส่อย่างแว่นตาได้
- ชุดหูฟัง VR อาจเบาและเรียบลื่นขึ้น
- โดรนก็อาจได้รับผลจากกล้องที่เล็กลงเช่นกัน
- ทั้งวัตถุประสงค์ทางทหาร เช่น การลาดตระเวน และวัตถุประสงค์พลเรือน เช่น การส่งของ ล้วนต้องใช้กล้อง
- กล้องที่เล็กกว่ามากอาจนำไปสู่โดรนที่เบาขึ้นและใช้แบตเตอรี่น้อยลง
ความเป็นไปได้ในการทำให้พื้นผิวทั้งหมดเป็นกล้อง
- กล้องขนาดเล็กของนักวิจัยทำให้เราคิดถึงกล้องขนาดใหญ่ใหม่ในฐานะ อาร์เรย์ระนาบของกล้องขนาดเท่าเม็ดเกลือ
- อาร์เรย์เช่นนี้อาจนำไปสู่วิธีที่เปลี่ยนพื้นผิวเองให้กลายเป็นกล้อง
- metasurface ที่ใหญ่ขึ้นมีความเป็นไปได้ในการแทนที่เลนส์ที่จำเป็นสำหรับกล้องโทรทรรศน์
- การสร้างกล้องโทรทรรศน์อาจทำได้ง่ายขึ้น
- การส่งเลนส์ที่ทรงพลังกว่าเดิมขึ้นสู่อวกาศก็อาจง่ายขึ้นเช่นกัน
วิธีการผลิตและวัสดุ
- metasurface สามารถผลิตได้ด้วยวิธีเดียวกับเทคโนโลยีที่เติบโตเต็มที่ซึ่งใช้ในการผลิตชิปคอมพิวเตอร์
- ปัจจุบันชิปคอมพิวเตอร์ผลิตบนเวเฟอร์ และเวเฟอร์หนึ่งแผ่นมีสำเนาชิปแบบเดียวกันอยู่หลายร้อยชิ้น
- metasurface ก็ผลิตได้ในวิธีเดียวกัน จึงมีความเป็นไปได้ที่จะลดต้นทุนต่อ metasurface แต่ละชิ้นลงอย่างมาก
- นักวิจัยใช้ silica wafer เป็นพื้นผิวสำหรับติดตั้ง และใช้ silicon nitride สำหรับ nano-antenna
- วัสดุทั้งสองชนิดเข้ากันได้กับ เทคโนโลยีการผลิตเซมิคอนดักเตอร์ ที่ใช้ผลิตชิปคอมพิวเตอร์ในปัจจุบัน
อ่านเพิ่มเติม
- Researchers shrink camera to the size of a salt grain: บทแนะนำงานวิจัยปี 2021 ของ Princeton University
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: บทความที่เกี่ยวข้องจาก The Independent
- Neural nano-optics for high-quality thin lens imaging: งานวิจัยที่เกี่ยวข้องซึ่งตีพิมพ์ใน Nature Communications
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ข้อความที่ว่า “สร้างภาพสีเต็มรูปแบบที่มีคุณภาพเทียบเท่ากล้องทั่วไป” ทำให้ค่อนข้างกังขา เพราะในบทความไม่มี ตัวอย่างภาพถ่ายจากกล้องนาโน แต่ในบทความวิจัยต้นฉบับมีตัวอย่างที่น่าประทับใจทีเดียว
https://www.nature.com/articles/s41467-021-26443-0/figures/2
ความคมชัดและสียังดูด้อยกว่าอย่างชัดเจน
ถ้าเป็นแค่การใช้โครงข่ายประสาทกู้คืนภาพ ก็ไม่ได้น่าประทับใจนัก เพราะคล้ายกับกรณีที่ Samsung แปะภาพดวงจันทร์เข้าไปเมื่อมันตรวจพบจานสีขาว
เมื่อหลายปีก่อนเคยได้ยินเรื่องนี้จากบทสัมภาษณ์นักอนาคตศาสตร์คนหนึ่ง: วันหนึ่งเด็ก ๆ จะซื้อสติกเกอร์หนึ่งแผ่นในร้านขายของเล่น และสติกเกอร์แต่ละแผ่นนั้นจริง ๆ แล้วคือ กล้องที่มีที่อยู่ IPv6
หมายความว่าถ้าเอาสติกเกอร์ไปแปะไว้ที่ไหนสักแห่ง แล้วเปิดที่อยู่นั้นในเบราว์เซอร์ ก็จะดูวิดีโอจากกล้องแบบเรียลไทม์ได้
เขาบอกว่าองค์ประกอบต่าง ๆ ที่ประกอบเป็นเทคโนโลยีแบบนี้มีอยู่แล้ว เพียงแต่ยังไม่ถูกพอที่จะปล่อยสู่ตลาดมวลชน และถ้าเกิดการประหยัดต่อขนาดขึ้น สังคมจะต้องกลับมาทบทวนความหมายของ ความเป็นส่วนตัวทางกายภาพ กันอย่างจริงจัง
อาจเป็นไปได้ถ้าเปลี่ยนความหมายของคำว่า “สติกเกอร์” ไปมาก ๆ
คงต้องเพิ่มอีกเรื่องให้ Vernor Vinge แล้ว
เทคโนโลยีนี้ดูเหมือนอาจทำให้ การเฝ้าระวังแบบครอบคลุมทุกที่ ใน A Deepness in the Sky เป็นจริงได้โดยตรง จึงควรจับตาอย่างระมัดระวัง
ถ้าจำไม่ผิด ขนาดประมาณเมล็ดพืช
https://en.wikipedia.org/wiki/The_Peace_War
อาจเป็นเพราะหัวข้ออื่นดึงความสนใจและเงินลงทุนไป แต่ก็มีความเป็นไปได้ว่าเทคโนโลยีนี้ไปถึงระดับที่น่าสนใจพอแล้ว จนทีม R&D จำนวนมากเข้าไปอยู่ภายใต้สัญญารักษาความลับกับรัฐบาล
อนึ่ง ชื่อที่ถูกต้องคือ “Vernor”
กล้องมักถูกวาดให้ใหญ่กว่าเม็ดทรายมากเสมอ
ในนั้น orphidnet utility fog ทำให้การรับรู้และการมองเห็นภาพแบบครอบคลุมทุกที่เป็นไปได้
ในที่นี้ทุกคนคิดถึงความเป็นส่วนตัวและการสอดส่อง แต่ผมสงสัยว่าเทคโนโลยีนี้จะช่วยให้เราเร่งกล้องนาโนด้วยเลเซอร์ไปถึง ความเร็วเชิงสัมพัทธภาพ เพื่อถ่ายภาพระบบสุริยะอื่นในระยะใกล้ได้หรือไม่
ต่อให้ไม่ไปถึง Proxima Centauri แค่มีจำนวนกล้องในระบบสุริยะของเรามากขึ้นก็น่าจะดี
https://en.wikipedia.org/wiki/Breakthrough_Starshot
ถ้าขนาดเล็กมากและมีมุมมองกว้าง ก็น่าจะวางเลนส์ทั่วไปไว้เหนืออาร์เรย์เพื่อทำกล้องสมาร์ตโฟนแบบ มุมกว้างพิเศษระดับ 160×160 องศา ได้
กล้องเดี่ยวขนาดจิ๋วแบบ 360×180 องศาก็น่าจะเป็นไปได้ และถ้าใส่กล้องหลายตัวในแว่น AR ก็จะรับรู้สภาพแวดล้อมได้ดีมากในช่วง 360×160 องศา
การประยุกต์ใช้อีกอย่างอาจเป็น กล้อง light field ขนาดเล็ก
ไม่แน่ใจว่าเทคโนโลยีนี้ใช้ได้ทันทีหรือจำเป็นต้องปรับเปลี่ยน แต่ถ้ามีกล้อง light field ขนาดเล็กและราคาถูกออกมา ก็น่าจะมีประโยชน์ต่อการปรับโฟกัสหลังถ่าย และการตรวจจับ 3D/การสร้างฉากใหม่ที่ดีกว่าสเตอริโอ
เมื่อเห็นคำอธิบายว่า “ใช้ การประมวลผลภาพหลังถ่ายด้วย AI ที่เป็นกรรมสิทธิ์ เพื่อสร้างภาพคุณภาพสูงจากกล้อง” ก็ยากที่จะบอกว่าเทียบกับกล้องทั่วไปได้ในความหมายเชิงสัญชาตญาณ
ทั้งอัปสเกล ลดสัญญาณรบกวน แก้เบลอ ปรับสี แก้เงาและไฮไลต์ หลังผ่าน pipeline การประมวลผลแล้ว แทบไม่มีส่วนไหนเหลืออยู่เหมือนที่เซนเซอร์เห็นจริง ๆ
กล้องมือถือแค่ทำสุดโต่งกว่ากล้องมืออาชีพมากเท่านั้น แต่ทั้งหมดก็ทำการประมวลผลแบบนั้น
ดูเหมือนไม่ใช่ข่าวใหม่
เป็น บทความวิจัยที่เผยแพร่ในปี 2021 และเคยถูกโพสต์ที่นี่แล้วด้วย
https://news.ycombinator.com/item?id=29399828
ถ้าเป็นจริง ก็อาจใส่ อาร์เรย์กล้อง 10,000 ตัว (100×100) ลงในสมาร์ตโฟน แล้วทำสิ่งที่น่าสนใจด้วย computational photography ได้
ถ้านำไปใช้ตรง ๆ กับเซนเซอร์ 10,000 ตัวจะใช้เวลาประมาณ 10 นาที แต่แน่นอนว่ายังมีช่องทางให้ปรับแต่งและทำขนานได้
เซนเซอร์สร้างภาพ 720×720px ดังนั้นอาร์เรย์ 100×100 จะได้ 72,000×72,000px หรือประมาณ 5 กิกะพิกเซล
เป็นจำนวนพิกเซลมหาศาลสำหรับสมาร์ตโฟนที่จะประมวลผลและจัดเก็บ
นั่นจึงเป็นเหตุผลที่มืออาชีพยังพกกล้องฟูลเฟรมขนาดใหญ่แทนที่จะใช้มือถือ
มีประเด็นเรื่องความเร็วอย่างการถ่ายกีฬาอยู่ด้วย แต่ถ้าพูดให้เรียบง่าย ความเร็วเองก็ได้รับผลจากปริมาณข้อมูลที่ต้องประมวลผลและความละเอียด
เซนเซอร์ความละเอียดสูงมีปัญหาไฟล์ใหญ่เกินไป ทำให้ประมวลผลช้ากว่าภาพคุณภาพสูงขนาดเล็ก และกินพื้นที่จัดเก็บมากกว่ามาก
ในวิดีโอยิ่งรุนแรงกว่า
นี่อาจเป็นเหตุผลที่ Apple คงกล้องหลักไว้ที่ 12 เมกะพิกเซลเป็นเวลานาน
มีคำอธิบายอุปกรณ์ทัศนศาสตร์ที่ฟังดูเท่ แต่ไม่ค่อยบอกว่า บันทึกภาพจริง ๆ อย่างไร
แถมยังมีส่วน “โครงข่ายประสาท” อยู่ด้วย
สงสัยว่า generative AI กำลัง “ปรับปรุง” โดยเติมส่วนที่พร่ามัวด้วยพิกเซลที่น่าจะเป็นไปได้มากที่สุดทางสถิติหรือไม่
บทความค่อนข้างแย่
โมเดลคำนวณมาตรฐานก็น่าจะทำได้ แต่คงต้องใช้การคำนวณหนักมาก
ดังนั้นอาจเป็น “การปรับปรุง” ในความหมายคล้ายกับที่ JPEG เก็บภาพแบบสูญเสียข้อมูล
(2021) ต้นฉบับจริงอยู่ที่นี่: https://light.princeton.edu/publication/neural-nano-optics/