แมโครสแพลต 2025

 (danybittel.ch)
1 คะแนน โดย GN⁺ 2025-10-13 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Gaussian splat ประกอบด้วยทรงรีฟุ้งหลายชิ้น ทำให้มีคุณสมบัติที่สามารถมองได้จากหลายมุมคล้าย ภาพถ่าย 3D
  • สามารถถ่ายทอดพื้นผิวที่ซับซ้อนและละเอียดมากของ วัตถุมาโคร เช่น แมลง ได้อย่างมีประสิทธิภาพ
  • เพื่อแก้ปัญหาที่เกิดจาก ระยะชัดตื้น จึงนำเทคนิค focus stacking มาใช้
  • เพิ่มประสิทธิภาพและคุณภาพการถ่ายด้วย อุปกรณ์อัตโนมัติ และวิธีถ่ายที่ปรับให้เหมาะสม
  • สุดท้ายใช้ COLMAP และ Postshot เพื่อสร้างและเผยแพร่ โมเดล 3D ความละเอียดสูง

สรุป Macro Splats 2025

แนวคิดของ Gaussian Splat และการทำให้เป็นภาพถ่าย 3D

  • Gaussian splat คือเทคนิคที่ซ้อนทรงรีฟุ้งไว้ในพื้นที่ 3D และกำหนด สีที่ขึ้นกับมุมมอง ให้กับแต่ละทรงรี
  • คล้ายกับการฝึกโมเดลปัญญาประดิษฐ์ เมื่อนำภาพถ่ายหลายภาพมาเป็นอินพุตแล้วทำการปรับให้เหมาะสมซ้ำ ๆ ก็สามารถสร้างผลลัพธ์เป็น ภาพถ่าย 3D ที่สมจริงได้
  • ผลลัพธ์ของวิธีนี้คือภาพ 3D ที่สามารถสังเกตได้อย่างสมจริงจากหลากหลายมุม

เหตุผลที่นำมาใช้กับวัตถุมาโคร

  • วัตถุมาโคร อย่างแมลงที่มีขนมากหรือมีโครงสร้างซับซ้อน เหมาะอย่างยิ่งกับการแสดงผลแบบ Gaussian splat
  • เน้นว่าพื้นผิวลักษณะนี้เป็นส่วนที่เทคนิคสร้างภาพ 3D แบบเดิมถ่ายทอดได้ยาก

กระบวนการถ่ายภาพด้วย Focus Stacking

  • เนื่องจากการถ่ายภาพมาโครมีลักษณะระยะชัดตื้นมาก จึงมีปัญหาในการเก็บทุกส่วนให้คมชัดได้ยาก
  • Focus stacking คือเทคนิคที่ถ่ายภาพหลายใบจากมุมเดียวกันโดยปรับจุดโฟกัสต่างกันเล็กน้อย แล้วนำมารวมเป็น ภาพเดียวที่คมชัดทั้งหมด
  • โดยปกติหนึ่งสแต็กต้องใช้ภาพ 50~500 ใบ แต่เพื่อประสิทธิภาพในการถ่ายจึงปรับเหลือ 16 ใบต่อสแต็ก และใช้ค่ารูรับแสง f/18
  • ใช้จานหมุน, boom arm และรางโฟกัสอัตโนมัติ เพื่อถ่ายแมลงอย่างเป็นระบบจากหลายมุม
  • ถ่ายทั้งหมด 1776 ภาพจาก 111 มุม และใช้เวลาถ่ายรวมประมาณ 4 ชั่วโมง

การสร้างโมเดล 3D และการปรับแต่งภายหลัง

  • ภาพทั้งหมดถูกประมวลผลด้วย batch focus stacking จนได้ภาพความละเอียดสูง 111 ภาพ
  • กู้คืนข้อมูลตำแหน่งกล้องด้วย COLMAP และทำงาน ปรับสี รวมถึงมาสก์พื้นหลัง
  • จากนั้นนำข้อมูลสุดท้ายไปฝึกด้วย Postshot เพื่อสร้างโมเดล splat และลบส่วนฐานยึดออกด้วยการ retouch ให้น้อยที่สุด

การเผยแพร่และการใช้งานโมเดล 3D

  • โมเดลแมลงที่สร้างเสร็จแล้วสามารถชมแบบ 3D ได้อย่างอิสระที่ superspl.at
  • โมเดล cluster fly เปิดให้ดาวน์โหลดฟรีที่ นี่ และอนุญาตให้นำไปใช้ได้ทั้งเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ภายใต้เงื่อนไขการระบุแหล่งที่มา

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-10-13
ความคิดเห็นจาก Hacker News
  • จากงานคอมพิวเตอร์กราฟิกที่เคยเห็นมา ฉันคิดว่าเจ้าต่อ mandarin ตัวนี้เป็นหนึ่งในชิ้นงานที่น่าประทับใจที่สุด และในฐานะงานถ่ายภาพมาโครก็นับว่ายอดเยี่ยมระดับสูงมากด้วย ที่น่าทึ่งอีกอย่างคือมันเรนเดอร์แบบเรียลไทม์ได้ด้วย เมื่อไม่กี่วันก่อนมีการคุยกันเรื่อง PS6 ถ้าฉันยังทำงานเกี่ยวกับคอนโซลหรือการพัฒนาเกมอยู่ คงหมกมุ่นมากกับการหาวิธีเอาแอสเซ็ตแบบนี้เข้าไปใช้ในเกม
    • Gaussian splats ยังขาดความยืดหยุ่นที่วิดีโอเกมทั่วไปต้องการ มันไม่ใช่ PBR จริง ๆ ดังนั้นแสงจึงแทบจะถูกฮาร์ดโค้ดไว้แล้ว การทำ rigging ก็ทำงานได้ไม่ดี และแก้ไขก็ยากมาก เหมาะกับการแสดงผลวัตถุเดี่ยว ๆ แต่ไม่เหมาะกับการสร้างฉากที่มีหลายองค์ประกอบรวมกัน
  • ดูเจ๋งมาก ถ้าจะให้ฟีดแบ็กเรื่องเว็บไซต์ ตัวอักษรสีดำบนพื้นหลังสีเทาอ่านยากมากจนฉันต้องเปิด reader mode
    • ความอิ่มสีของหน้าเว็บแรงมาก จนฉันนึกว่ามีบางอย่างใน foreground ที่ถูกเน้นไว้แต่ฉันมองไม่เห็น และทั้งหน้าเหมือนถูกทำให้เป็นพื้นหลังไปหมด
    • สำหรับฉันกลับตรงกันข้ามเลย เว็บไซต์นี้เป็นหนึ่งในไม่กี่เว็บที่ฉันอ่านได้ชัดเจนแม้ใส่แว่นอยู่ โดยที่ตัวอักษรไม่ฟุ้ง
  • งานนี้ดูยอดเยี่ยมจริง ๆ และฉันไม่เคยคิดมาก่อนว่าจะเอาการถ่ายภาพมาโครมาผสานกับ Gaussian splatting ได้ ขอบคุณมากที่ปล่อยเป็นไฟล์วัฒนธรรมเสรี (CC BY)
  • น่าจะเจ๋งถ้าได้คอลแลบกับศิลปิน Exquisite Creatures Revealed เขาเก็บรักษาแมลงหลากหลายชนิดและจัดแสดงในแบบที่เน้นสีสันและเอฟเฟกต์เหลือบรุ้งตามธรรมชาติ ฉันประทับใจกับนิทรรศการมากจนกลับไปดูอีกครั้ง ข้อมูลศิลปินดูได้ที่นี่
  • สงสัยว่ามีงานวิจัยเกี่ยวกับการฟิต gaussian splats ที่ขึ้นกับระยะโฟกัสหรือเปล่า โดยพื้นฐานคือการโมเดล bokeh ถ้าใส่ภาพ raw ต้นฉบับเข้าไป อาจจะได้โมเดลที่คมชัดทั้งภาพหรือไม่
  • สงสัยว่าเขาจับภาพการสะท้อนเหลือบรุ้งบนตัวแมลงวันได้อย่างไร มันให้ความรู้สึกเหมือนมองทะลุพื้นหลังผ่านส่วนที่สะท้อนอยู่ด้วย เพราะสีของการสะท้อนเปลี่ยนไปตามมุม ฉันเลยคิดว่าการสร้าง gaussian splat น่าจะหาคำตอบที่ทำให้ทุกลำแสงสอดคล้องกันได้ยาก อย่างน้อยฉันก็คิดว่าพื้นผิวสะท้อนน่าจะออกมาเละ ๆ เลยสงสัยว่ามีเทคนิคลับอะไรอยู่ หรือว่าฉันเข้าใจ gaussian splat ผิดไปเอง
    • สีจะเปลี่ยนตามมุมมอง ซึ่งก็แปลว่าแสงถูก baked-in ไว้แล้ว เพราะงั้นฉันคิดว่ามันเอาไปใช้ตรง ๆ กับแอนิเมชัน 3D หรือสภาพแวดล้อมเรียลไทม์ได้ยากมาก (แน่นอนว่าอาจมีงานวิจัยเรื่องแสงแบบไดนามิกอยู่) บางครั้งมันก็ดูผิดไป เช่น ถ้าเข้าใกล้โมเดลแมลงวันมากเกินไป บางส่วนของลำตัวจะดูโปร่งใส และ specular highlight จะดูเหมือนเป็น splat จากด้านหลังของพื้นผิวด้านใน สำหรับโมเดลกระจก อาการนี้ยิ่งชัดขึ้น และคุณสามารถทะลุเข้าไปในกระจกได้จริง ๆ
    • Gaussian splats สามารถกำหนดสีตามมุมมองได้ เท่าที่ฉันรู้ มันทำด้วย spherical harmonics ความละเอียดเชิงมุมจะขึ้นอยู่กับจำนวนคอมโพเนนต์ฮาร์มอนิกเหล่านี้ ถ้าน้อยเกินไป การสะท้อนทั้งหมดจะเปลี่ยนแบบช้าและนุ่มไปหมด และภาพสะท้อนจะเบลอ
    • ตาม FTA, “Gaussian splat โดยเนื้อแท้คือกลุ่มของทรงรีเบลอหลาย ๆ อัน โดยแต่ละอันมีสีที่เปลี่ยนไปตามมุมมอง” หวังว่าคำอธิบายนี้จะช่วยได้
    • ลองดูส่วน "View-dependant colors with SH": บทความที่เกี่ยวข้อง
  • เดโมแบบหมุนได้ที่รันแบบเรียลไทม์ในเบราว์เซอร์ แม้แต่บนมือถือ ก็ทำงานได้ดีมาก ค่าใช้จ่ายในการเรนเดอร์ gaussian splat ดูเหมือนจะไม่ได้แพงมาก และไปหนักที่การคำนวณล่วงหน้ามากกว่า
    • ขนาดไฟล์ก็น่าประทับใจมาก แม้ตอนนี้จะไม่มีลิงก์แล้ว แต่มี 4D splat ที่รวมการเคลื่อนไหวไว้ด้วย (ดูได้เหมือนวิดีโอ และยังเคลื่อนที่ภายในฉากได้) ถูกเผยแพร่ออกมา และไฟล์นั้นก็มีขนาดเพียงระดับไม่กี่เมกะไบต์
  • งานเจ๋งมาก แต่บนมือถือ 3D ใช้งานไม่ได้เลย พอแตะ 3D ในโหมด orbit มันจะล็อกไปที่มุมมองซีกโลกใต้ทันที แล้วไม่ว่าจะหมุนยังไง หน้าจอก็เหวี่ยงไปมาแบบบ้าคลั่ง
    • ฉันเป็นนักพัฒนา PlayCanvas อยากทราบว่าเกิดอาการนั้นบนโทรศัพท์/อุปกรณ์รุ่นไหนหรือไม่ อาจเป็นบั๊กก็ได้ (ไม่ได้เล่นคำนะ)
  • เมื่อไม่นานมานี้ มันยังถูกใช้ในการกลับไปเยือน "The Matrix" ด้วย: วิดีโอ YouTube
  • นี่เป็นความก้าวหน้าครั้งใหญ่มากเมื่อเทียบกับการเรนเดอร์แบบเรียลไทม์ของ 23,806 triangles ที่ Stars/NoooN [1] เคยแสดงไว้ [1] วิดีโอ YouTube
    • สงสัยว่าสิ่งนี้สร้างขึ้นเมื่อไหร่ วิดีโอ YouTube นั้นอัปโหลดเมื่อ 14 ปีก่อน แต่ความรู้สึกเหมือนเก่ากว่านั้นมาก