What if Eye..? - ถ้าหากดวงตา...?

 (eyes.mit.edu)
1 คะแนน โดย GN⁺ 2025-02-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • What if Eye...? เป็นโครงการที่รันการวิวัฒนาการใหม่อีกครั้งในจักรวาลแบบวิดีโอเกม เพื่อสำรวจหลักการของความฉลาดทางการมองเห็นเชิงชีววิทยาและรูปแบบใหม่ของปัญญาประดิษฐ์ในเชิงคำนวณ
  • เอเจนต์เริ่มต้นจาก เซลล์รับแสงเพียงหนึ่งเซลล์ และสมองขนาดเล็ก จากนั้นวิวัฒนาการความฉลาดทางการมองเห็นภายใต้ฟิสิกส์จริง ข้อจำกัดของร่างกายจริง และแรงกดดันเพื่อความอยู่รอด
  • เมื่อเปลี่ยนเป้าหมายอย่างการนำทางและการตรวจจับ ก็สามารถเปรียบเทียบได้ว่า โครงสร้างของดวงตาและพฤติกรรม แบบใดจะปรากฏขึ้นอย่างเป็นธรรมชาติ
  • เมื่อขยายขนาดสมองและดวงตาไปพร้อมกัน จะเห็น การสเกลแบบกฎกำลัง แต่หากการมองเห็นเป็นคอขวด ต่อให้เพิ่มเฉพาะสมอง การปรับปรุงพฤติกรรมก็จะหยุดลง
  • เมื่อเปิดใช้งานยีนด้านออปติกส์ ออปติกส์แบบเลนส์จะปรากฏขึ้นซ้ำ ๆ และทำงานในฐานะวิธีแก้ trade-off พื้นฐาน ระหว่างการรวบรวมแสงกับความแม่นยำเชิงพื้นที่

สภาพแวดล้อมการทดลองที่รันวิวัฒนาการของการมองเห็นใหม่อีกครั้ง

  • What if Eye...? เริ่มต้นจากสมมติฐานว่า “วิวัฒนาการเกิดขึ้นเพียงครั้งเดียว” และสร้างวิวัฒนาการของการมองเห็นขึ้นใหม่ในเชิงคำนวณภายในจักรวาลแบบวิดีโอเกม
  • เป้าหมายไม่ใช่ความฉลาดทางการมองเห็นที่ออกแบบจากชุดข้อมูลตายตัวและอคติแบบมนุษย์ แต่เป็นการทำให้ฮาร์ดแวร์การรับรู้และซอฟต์แวร์ด้านการรับรู้ การให้เหตุผล และการกระทำ อุบัติขึ้นเอง ภายในสภาพแวดล้อม
  • เอเจนต์เริ่มต้นด้วย เซลล์รับแสงเพียงหนึ่งเซลล์ และสมองขนาดเล็กเท่านั้น
    • ต้องเผชิญกับเงื่อนไขทางฟิสิกส์จริง
    • อยู่ภายใต้ข้อจำกัดของการมีร่างกาย
    • วิวัฒนาการความฉลาดทางการมองเห็นภายใต้แรงกดดันเพื่อความอยู่รอด
  • การทดลองแต่ละครั้งถูกจัดวางเหมือนสมมติฐานหนึ่งข้อ
    • ตั้งคำถามแบบ what-if หรือเงื่อนไขเชิงตรงกันข้ามกับข้อเท็จจริง
    • วิวัฒนาการเอเจนต์ที่มีร่างกายภายในเอนจินฟิสิกส์แบบวิดีโอเกม
    • สังเกตว่าดวงตาและพฤติกรรมแบบใดปรากฏขึ้น

เงื่อนไขที่ดวงตาและสมองวิวัฒนาการไปพร้อมกัน

  • เมื่อเป้าหมายของการมองเห็นเปลี่ยนไป เอเจนต์จะวิวัฒนาการในโลกที่มีเพียงสองภารกิจ
    • NAVIGATION: เป้าหมายคือเคลื่อนที่ไปทางซ้ายให้เร็วที่สุด โดยหลีกเลี่ยงกำแพงเขาวงกตซึ่งเป็นสิ่งกีดขวาง
    • DETECTION: เป้าหมายคือการตรวจจับอาหารและหลีกเลี่ยงพิษ
  • ในเงื่อนไขที่สมองยังคงมีขนาดเล็กตลอดกระบวนการวิวัฒนาการ เมื่อขยายขนาดดวงตาและสมองอย่างเป็นระบบไปพร้อมกัน จะเกิด การสเกลแบบกฎกำลัง ระหว่างความจุของระบบประสาทกับประสิทธิภาพของภารกิจ
    • ความสัมพันธ์นี้ใช้ได้ก็ต่อเมื่อความละเอียดในการมองเห็นถูกขยายไปพร้อมกัน
    • หากความละเอียดในการมองเห็นเป็นคอขวด ต่อให้เพิ่มขนาดสมองเพียงอย่างเดียว ก็ไม่ได้นำไปสู่พฤติกรรมที่ดีขึ้น
  • ในเงื่อนไขที่ดวงตาสามารถหักเหแสงได้ จะมีการเปิดใช้งาน ยีนด้านออปติกส์
    • หากไม่มีออปติกส์ ก็สามารถใช้กลยุทธ์แบบรูเข็มเพื่อทำให้ภาพคมชัดขึ้นได้ แต่ต้องแลกด้วยแสง จึงชนข้อจำกัดในที่สุด
    • หากมีออปติกส์ เลนส์จะปรากฏขึ้นในฐานะวิธีแก้ trade-off ระหว่างการรวบรวมแสงกับความแม่นยำเชิงพื้นที่
  • จีโนไทป์แบบบูรณาการรวมทั้งฮาร์ดแวร์อย่างเซ็นเซอร์การมองเห็นทางกายภาพ และซอฟต์แวร์อย่างองค์ประกอบการเรียนรู้ไว้ด้วยกัน
    • ยีนสัณฐานวิทยา กำหนดคุณลักษณะการสุ่มตัวอย่างเชิงพื้นที่ เช่น ตำแหน่งของดวงตาและมุมมองภาพ
    • ยีนด้านออปติกส์ จัดการปฏิสัมพันธ์กับแสง เช่น จำนวนตัวรับแสง องค์ประกอบเชิงออปติกส์ และขนาดรูม่านตา
    • ยีนประสาท ระบุความสามารถในการเรียนรู้
    • การแยกคลัสเตอร์ยีนทั้งสามออกจากกันให้กลายพันธุ์ได้อย่างอิสระ ช่วยให้สำรวจเส้นทางวิวัฒนาการที่สมจริงได้

เอกสารสาธารณะและการนำเสนอ

  • โครงการนี้มีทั้งงานวิจัย โรดแมป การนำเสนอ เครื่องมือโอเพนซอร์ส และนิทรรศการสาธารณะ
  • งานตีพิมพ์หลักมีดังนี้
    • Computationally Recreating Vision Evolution: บทความผ่านการพิจารณาโดยผู้ทรงคุณวุฒิใน Science Advances ที่ครอบคลุมการตั้งค่าการทดลองทั้งหมด ผลลัพธ์ และการวิเคราะห์วิวัฒนาการ
    • A Roadmap for Generative Design of Visual Intelligence: บทความของ MIT Press ที่สรุปเหตุผล การประยุกต์ใช้ และแนวทางว่าทำไมความฉลาดทางการมองเห็นจึงควรถูกสร้างขึ้นเชิงกำเนิดแทนการออกแบบด้วยมือ
    • Designing Imaging Systems with Reinforcement Learning: บทความ ICCV ที่เสนอวิธี co-design ระบบสร้างภาพและโมเดลการรับรู้ที่เฉพาะกับภารกิจ โดยอิงจากฟีดแบ็กของสภาพแวดล้อม
    • Emergence of foveal image sampling from learning to attend in visual scene: บทความ NeurIPS ที่แสดงว่าการเรียนรู้ที่จะให้ความสนใจในฉากการมองเห็นนำไปสู่การเกิดการสุ่มตัวอย่างภาพแบบโฟเวีย
    • Designing neural network architectures using reinforcement learning: บทความ ICLR ว่าด้วยการออกแบบสถาปัตยกรรมโครงข่ายประสาทด้วยการเสริมกำลังเรียนรู้เพื่อปรับปรุงประสิทธิภาพของงานด้านการมองเห็น
    • The First Signs of Vision: วิทยานิพนธ์ MIT ของ Cathy Chang ว่าด้วยการจำลองเชิงโต้ตอบเกี่ยวกับวิวัฒนาการการมองเห็นของสัตว์ตั้งแต่ยุคระเบิดแคมเบรียนจนถึงปัจจุบัน
  • การนำเสนอสาธารณะประกอบด้วยรายการต่อไปนี้
    • การบรรยายของ Brian Cheung เรื่อง "The Emergence of Convergence in Different Levels of Biology and AI" ในงาน Symposium on the Platonic Space
    • การบรรยายของ Kushagra Tiwary เรื่อง "Embodied Eyes For Scientific Discovery: Generation and Verification Loops to ask the "why" questions in vision" ที่ UC Berkeley's Redwood Center
    • การบรรยายของ Kushagra Tiwary เรื่อง "What-If Machines for Vision: Evolving Eyes and Brains with AI" ในงาน Imagination in Action
    • การบรรยาย Tedx ที่สำรวจนัยที่กว้างขึ้นของการพัฒนาความฉลาดทางการมองเห็นด้วยเอเจนต์ประดิษฐ์
  • มีทั้งโค้ดและรายการนิทรรศการให้ใช้งาน
    • Simulator: เครื่องมือโอเพนซอร์สสำหรับรันตัวจำลองวิวัฒนาการ กำหนดภารกิจใหม่ และวิวัฒนาการเอเจนต์ที่มีร่างกายได้ด้วยตนเอง
    • Colab Notebook: โน้ตบุ๊กเชิงโต้ตอบสำหรับทดลองกับ Cambrian agents บนเบราว์เซอร์ ซึ่งยังอยู่ในสถานะเตรียมเปิดเผยต่อสาธารณะ
    • Video Exhibition: นิทรรศการแบบมีส่วนร่วมสาธารณะที่เปิดโอกาสให้ผู้เข้าชมสัมผัสประสบการณ์ของการมองเห็นที่กำลังวิวัฒนาการด้วยตนเอง
  • ความร่วมมือนี้ได้รับการสนับสนุนจาก MIT GenAI Impacts of Generative AI Grant

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-02-15
ความคิดเห็นจาก Hacker News

  • ครู วิทยาการคอมพิวเตอร์ ตอนมัธยมเคยสอนเรื่องตาของแมงดาทะเล
    เขาบอกว่าตาของแมงดาทะเลมองไม่เห็นสิ่งที่ใหญ่กว่าขอบเขตการมองเห็นของมัน จึงกินสิ่งมีชีวิตขนาดเล็กและไม่สนใจสิ่งมีชีวิตขนาดใหญ่ และเขาใช้โมเดลโครงข่ายประสาทใน Excel เพื่ออธิบายเรื่องนี้
    ครูคนนั้นยอดเยี่ยมมาก เขาสอนให้รู้จักมีความอยากรู้อยากเห็นและมุมมองเชิงลึกในวิทยาการคอมพิวเตอร์ และยังแนะนำ Donald Knuth, TeX ฯลฯ ให้รู้จักด้วย

    • นึกภาพไม่ค่อยออกว่าการมองไม่เห็นสิ่งที่ใหญ่กว่าขอบเขตการมองเห็นเป็นอย่างไร
      สงสัยว่าจะคล้ายกับที่มนุษย์เอง ถ้ามีวัตถุที่ใหญ่พอและส่องแสงสม่ำเสมออยู่ตรงหน้า ก็อาจพูดได้ยากว่าเรา “เห็น” มันหรือเปล่า

  • Dawkins ก็อธิบาย วิวัฒนาการของดวงตา ไว้อย่างกระชับที่นี่: https://www.youtube.com/watch?v=2X1iwLqM2t0

    • การบรรยายเริ่มด้วย “ลองสมมติว่าเราเริ่มจากบรรพบุรุษที่ไม่มีตาเลย มีเพียงแผ่นเซลล์ที่ไวต่อแสงหนึ่งแผ่น”
      เงื่อนไขนี้พื้นฐานมากจนดูเหมือนว่าการไปจากศูนย์สู่ “แผ่นเซลล์ที่ไวต่อแสงหนึ่งแผ่น” แทบไม่ใช่เรื่องใหญ่อะไร แต่จริง ๆ แล้วไม่ใช่เช่นนั้น
      ก่อนหน้านั้นยังต้องมี โปรตีนรับแสง ระบบประสาทหรือเส้นทางประมวลผลสัญญาณที่ทำงานได้ กลไกที่เปลี่ยนการดูดกลืนแสงเป็นสัญญาณไฟฟ้า และระบบที่ประสานสัญญาณนั้นกับส่วนอื่น ๆ ของสิ่งมีชีวิต

  • อาจจะเป็นคำถามทางฟิสิกส์/วิทยาการคอมพิวเตอร์มากกว่าชีววิทยา แต่สงสัยว่าเรายังห่างไกลแค่ไหนจากตัวจำลองฟิสิกส์ที่ดีพอจะทำการทดลองแบบที่ MIT ทำกับดวงตา แต่ในระดับ สิ่งมีชีวิตทั้งตัว
    ถ้าวันหนึ่งทำได้ และเมื่อป้อนฟิสิกส์ของโลกเข้าไปแล้วสามารถให้ผลลัพธ์เป็นสิ่งมีชีวิตที่ค่อนข้างคล้ายสิ่งมีชีวิตบนโลกได้ ก็น่าจะป้อนฟิสิกส์ของดาวเคราะห์นอกระบบเข้าไปเพื่อดูว่าสิ่งมีชีวิตที่นั่นจะมีหน้าตาเป็นอย่างไรได้ด้วย

    • น่าสนใจตรงที่ตอนนี้ผมกำลังทำอะไรคล้าย ๆ กันเป็นงานอดิเรกอยู่ ตั้งใจว่าจะเปิดเป็นโอเพนซอร์สเร็ว ๆ นี้: https://www.youtube.com/watch?v=PDePFvxj6Po
      ผมคิดว่าเรายังอีกไกลกว่าจะโมเดลความซับซ้อนของสิ่งมีชีวิตทั้งตัวได้ แต่ถ้ามีเป้าหมายเพื่อตอบคำถามวิจัย ตอนนี้ก็ยังโมเดลเวอร์ชันที่เรียบง่ายกว่านั้นได้อยู่ เหมือนที่ทีมวิจัยนี้ทำกับการมองเห็นว่าวิวัฒนาการมาอย่างไร
      เมื่อไม่นานมานี้มีการโมเดล C. elegans แบบ 3D รวมถึงนิวรอนและสารสื่อประสาททั้งหมด และมันตอบสนองต่อสิ่งเร้าเสมือนเหมือนหนอนจริง (https://www.nature.com/articles/s43588-024-00738-w)
      สิ่งมีชีวิตเดี่ยว ๆ ทำได้แล้ว แต่การให้สิ่งมีชีวิตแบบนี้วิวัฒนาการใน 3D น่าจะต้องใช้เวลาอีกพอสมควร อนึ่ง ผมไม่ได้จบวิทยาการคอมพิวเตอร์ เป็นแค่คนสนใจทั่วไป
    • คำตอบมีตั้งแต่ “ทำได้ตั้งแต่ยุค 80” ไปจนถึง “เป็นไปไม่ได้ตามตัวอักษร” ขึ้นอยู่กับ ความละเอียดแม่นยำ ที่ต้องการในการจำลอง
    • ตอนผมอยู่ในแวดวงวิชาการเมื่อ 10 ปีก่อน แค่โมเดล โมเลกุลน้ำ 8 โมเลกุล ขึ้นไปเพื่อโซลเวตไอออน ต้นทุนการคำนวณก็เริ่มสูงมากแล้ว
      ขึ้นอยู่กับว่าต้องการให้โมเดลแม่นยำแค่ไหน และถ้าคิดในระดับความฝัน ผมมองว่าต้องใช้ควอนตัมคอมพิวติ้งเพื่อให้การจำลองแบบนี้มีความหมาย
    • ถ้ามองเชิงปรัชญา อาจบอกได้ว่าเป็นไปไม่ได้
      แนวคิดเรื่องกฎที่ใช้กับสิ่งอย่างคณิตศาสตร์อาจไม่เหมาะกับสิ่งมีชีวิต เพราะสิ่งมีชีวิตอธิบายด้วย teleology หรือการมุ่งสู่จุดมุ่งหมาย หัวใจไม่ได้บังเอิญทำให้เลือดไหลเวียน แต่เต้นเพื่อหมุนเวียนเลือดเพื่อส่งออกซิเจนให้ร่างกาย
      อีกอย่าง ต่อให้สิ่งมีชีวิตในภูมิอากาศหนาวมักมีขนหนา ก็ไม่ได้แปลว่าขนหนาจะหมายถึงภูมิอากาศหนาวเสมอไป สัตว์เลี้ยงลูกด้วยนมบางชนิดเติมเต็ม niche ทางนิเวศที่นกครองอยู่ในระบบนิเวศอื่น และในอีกที่หนึ่งปลาอาจทำหน้าที่นั้น ในนิวซีแลนด์ นกกลับเติมเต็ม niche ที่ถ้าเป็นระบบนิเวศอื่นอาจเป็นของสัตว์เลี้ยงลูกด้วยนม
      ผมไม่แน่ใจว่าชีววิทยาจะเป็นวิทยาศาสตร์แบบอุปนัยล้วน ๆ ได้หรือไม่
    • มีการจำลองฟิสิกส์ของกล้ามเนื้อและโครงสร้างกระดูกมาหลายครั้งแล้ว และผมรู้สึกว่าสิ่งที่ทำให้งานวิจัยนี้น่าสนใจคือการโฟกัสที่ ดวงตาและการมองเห็น
      วิดีโอ YouTube ที่เกี่ยวข้องก็อยู่ในหมวดที่ค่อนข้างสนุก: https://www.google.com/search?q=simulating+evolution+muscles
      โดยปกติมักเป็น 2 มิติหรือมีการลดทอนความซับซ้อนอย่างมาก ถ้าพยายามวิวัฒนาการสิ่งมีชีวิต “จริง ๆ” ต่อให้ไม่สนใจ “สมอง” ความซับซ้อนก็น่าจะระเบิดขึ้นเร็วมาก

  • นึกถึง “Autoverse” ใน Permutation City (1994) ของ Greg Egan ถ้าชอบบทความนี้ ขอแนะนำอย่างยิ่ง

    • ถ้าอยากอ่านอะไรที่สั้นกว่า ก็มี “Crystal Nights” ของผู้เขียนคนเดียวกัน: https://www.gregegan.net/MISC/CRYSTAL/Crystal.html
    • เห็นด้วย ขอแนะนำ Diaspora ของผู้เขียนคนเดียวกันอย่างลึกซึ้งด้วย อาจเข้าถึงง่ายกว่า “Permutation City” เล็กน้อย

  • ข้อเท็จจริงที่น่าสนใจเกี่ยวกับวิวัฒนาการของดวงตาคือ จุดสีดำ ที่เห็นในตาแมลงปอไม่ใช่รูม่านตาที่เคลื่อนตาม และไม่ใช่การเปลี่ยนแปลงของตัวตาเอง
    จริง ๆ แล้วคือเรากำลังมองตรงเข้าไปในโครงสร้างแบบเสาของตาแมลงปอ มันดักจับแสงได้อย่างมีประสิทธิภาพมากจนดูเป็นสีดำ และในแง่ประสิทธิภาพก็อยู่ใกล้ขีดจำกัดทางฟิสิกส์มาก

    • ยังไม่ค่อยเข้าใจ รูม่านตาของมนุษย์ก็ดูดำเพราะแสงเข้าไปแล้วไม่ออกมาอีกไม่ใช่หรือ?
    • งั้นแมลงปอก็ไปถึง กฎการสเกล แล้วหรือเปล่า?

  • จากประสบการณ์ที่เคยทำ ตัวจำลองชีวิตประดิษฐ์ ในยุค 90 มีหลายส่วนของโมเดลที่พึ่งพาพารามิเตอร์ที่ผู้เขียนการจำลองใส่เข้าไปมากเกินไป
    ถ้าเริ่มจากเซลล์ที่ไวต่อแสง แล้วสร้างอัลกอริทึมพันธุกรรมที่ให้รางวัลกับเอเจนต์ที่ผ่านเขาวงกตได้ดี สุดท้ายเอเจนต์ที่ใช้เซลล์รับแสงหลายเซลล์เหมือนตาก็จะ “วิวัฒนาการ” ขึ้นมา
    คำถามคือสิ่งนั้นบอกอะไรเกี่ยวกับวิวัฒนาการหรือชีวิตจริง ๆ หรือแค่บอกอะไรเกี่ยวกับการจำลองที่เราตั้งค่าไว้กันแน่

    • ผมมองว่าเป็นอย่างที่สาม แต่ก็คิดว่ามันต่างจากการจำลองสิ่งมีชีวิตแบบใส่ทุกอย่างรวม ๆ กันในสมัยก่อน สิ่งเหล่านั้นใกล้เคียงกับการดูพฤติกรรมที่เขียนโปรแกรมแบบผิวเผินหลายอย่างโต้ตอบกัน
      สิ่งนี้ใกล้เคียงกับ โมเดล มากกว่าการจำลอง และเป็นโมเดลที่พยายามอธิบายปรากฏการณ์จริงเฉพาะอย่างให้ตรงจุดและกระชับที่สุด
      สิ่งที่ได้จากตรงนี้คือ ดวงตาสองประเภท ได้แก่ตาประกอบและตาแบบกล้อง สามารถโมเดลได้ด้วยชุด งานเฉพาะ 3 อย่าง พร้อมองค์ประกอบควบคุมทางกายวิภาคขั้นต่ำ
      จากนั้นก็สามารถเปรียบเทียบและเทียบเคียงหลักฐานที่ชัดเจนจากโมเดล และดูว่าคำอธิบายแบบนี้เข้ากับคำอธิบายที่ไม่แน่ชัดเท่าจากวิธีการของชีววิทยาวิวัฒนาการอย่างไร ซึ่งอาจเป็นประโยชน์จริง ๆ
      อุปมาที่ดีคือการดูว่าเพียงแค่เกต latch และ clock จะอธิบาย “การอุบัติ” ของไมโครอาร์คิเทกเจอร์แบบซูเปอร์สเกลาร์สมัยใหม่ได้หรือไม่ หมายความว่าไม่จำเป็นต้องโมเดลความโกลาหลแบบแอนะล็อกที่เกิดขึ้นเมื่ออัดความถี่สูงเข้าไปในวงจรจริง
    • แน่นอนว่ามันเกี่ยวกับอย่างหลัง เราตรวจสอบด้วยการทดลองตรง ๆ แบบฟิสิกส์ไม่ได้ ดังนั้นก็ทำได้แค่นั้น
      คำถามที่เหมาะสมกว่าน่าจะเป็นว่า ความรู้นั้นไร้ประโยชน์โดยสิ้นเชิงหรือไม่ หรือในอนาคตอาจช่วยอะไรบางอย่างได้หรือเปล่า

  • ถ้าจะตั้งชื่อว่า “ตั้งแต่เริ่มต้น” ผมนึกว่าจะได้เห็น ตัวรับแสงเดี่ยว วิวัฒนาการมาจากอะไรบางอย่างด้วย

  • ระหว่างที่ทางนั้นแก้ปัญหาอยู่ ผมทำ mirror ของเว็บไซต์ไว้ชั่วคราว: https://cambrian.pages.dev/
    ดูเหมือนเว็บไซต์จะพัง (repository ถูกลบไปหรือเปล่า?) เลยต้องไปที่นี่แทน: https://eyes.mit.edu/ACI/
    และบทความวิชาการที่เว็บไซต์นั้นพูดถึงอยู่ที่นี่: https://arxiv.org/pdf/2501.15001

    • ตอนนี้กลับมาออนไลน์แล้ว

  • ผมเป็นผู้เขียน ถ้ามีอะไรสงสัยก็ถามได้

    • เป้าหมาย ของงานนี้คืออะไร? อยากรู้ว่ามีแผนจะทำอะไรต่อจากนี้