Show HN: Gaussian Splat ของสตรอว์เบอร์รี

 (superspl.at)
2 คะแนน โดย GN⁺ 18 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Strawberry คือฉากสตรอว์เบอร์รี 3D ที่ดาวน์โหลดได้ซึ่ง danylyon โพสต์บน SuperSplat และระบุไลเซนส์เป็น CC BY 4.0
  • ข้อมูลฉากแสดงเป็น 46,530 รายการ และขนาดไฟล์ 22.94 MB โดยระบุว่าโพสต์เมื่อ 13 ชั่วโมงก่อน
  • การถ่ายทำเกิดขึ้นจาก 90 มุมมอง และแต่ละมุมมองใช้ภาพโฟกัสสแตก 88 ภาพ
  • อุปกรณ์คือ Nikon Z8 ฟูลเฟรม, f/7.1, 1/160 วินาที, ISO 100, เลนส์มาโคร Laowa 180mm, ไฟ LED และฉากหลังบลูสกรีน
  • การฝึกทำบน slang-splat และมีทั้ง COLMAP และชุดข้อมูล COLMAP ให้มาด้วย

ภาพรวมของฉาก

  • Strawberry เป็นฉากสตรอว์เบอร์รี 3D ที่เผยแพร่บน SuperSplat และผู้โพสต์คือ danylyon
  • ข้อมูลฉากแสดงเป็น 46,530 รายการ และขนาดไฟล์คือ 22.94 MB
  • เวลาที่โพสต์แสดงเป็น 13 ชั่วโมงก่อน และสามารถดาวน์โหลดได้
  • ไลเซนส์ระบุเป็น CC BY 4.0

เงื่อนไขการถ่ายทำ

  • ฉากสตรอว์เบอร์รีถูกถ่ายจาก 90 มุมมอง และแต่ละมุมมองใช้ ภาพโฟกัสสแตก 88 ภาพ
  • อุปกรณ์และการตั้งค่าถ่ายทำคือ Nikon Z8, ฟูลเฟรม, f/7.1, 1/160 วินาที, ISO 100, เลนส์มาโคร Laowa 180mm
  • แสงใช้ ไฟ LED และฉากหลังเป็นบลูสกรีน

การฝึกและข้อมูล

  • การฝึกทำบน slang-splat
  • ซอฟต์แวร์ที่ใช้แสดงเป็น COLMAP
  • มี ชุดข้อมูล COLMAP ให้ด้วย และใช้งานได้ฟรีบน Patreon

เงื่อนไขการใช้งาน

  • สามารถดาวน์โหลดฉากได้ภายใต้ ไลเซนส์ CC BY
  • มีการระบุว่าไม่จำเป็นต้องใส่ที่มา แต่แนะนำเพื่อเป็นการขอบคุณ
  • มีการแจ้งว่าสามารถใช้ผลงานนี้ได้แม้ไม่ระบุที่มา

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 18 시간 전
ความคิดเห็นจาก Hacker News

  • ในปี 2011 สร้าง PlayCanvas ขึ้นมาเพื่อรันวิดีโอเกม แต่พอถึงปี 2026 กลับกำลังรันสตรอว์เบอร์รีอยู่

    • สำหรับคนที่สนใจ SuperSplat และ PlayCanvas เปิดซอร์สไว้บน GitHub: https://github.com/playcanvas
    • หนึ่งในเสน่ห์ที่สุดของโอเพนซอร์สคือผู้คนมักค้นพบการใช้งานใหม่ ๆ ที่คาดไม่ถึงโดยสิ้นเชิง

  • ว้าว หมดเวลาไปแบบไม่รู้ตัวเลย สุดท้ายก็มาถึงตรงนี้ และมันสวยมาก: https://superspl.at/scene/ff1d0393

    • ฉากนี้มี ข้อผิดพลาดการเรนเดอร์ แปลก ๆ ในสภาพแวดล้อมของฉัน ต้นไม้กับเส้นขอบฟ้าไปโผล่อยู่หน้าตึกโรงสี และถ้าไม่ใช่โหมดวงโคจร ด้านนอกก็เรนเดอร์ได้ไม่ถูกต้อง
      แต่ก็ยังทึ่งมากตอนพบว่าสามารถเดินขึ้นบันไดได้ ต้องกด Shift ถ้าจะวิ่ง
      ขอบฉากต้องการ clipping อย่างมาก ถ้าใช้แอปอย่าง Scaniverse ก็สามารถเพิ่ม bounding box เพื่อตัดจุดไกล ๆ ที่ปกติรีคอนสตรักต์ได้ไม่ดีออกไปได้
      ถ้ามี iPhone รุ่นใหม่ที่มี LiDAR scanner แนะนำมาก สามารถเรนเดอร์บ้านหรือสวนให้เหมือนบ้านตุ๊กตาได้ และยังมีประโยชน์เกินคาดสำหรับการวางแผนและวัดผนังหรือโครงสร้างต่าง ๆ
    • น่าทึ่งที่มันรันได้ลื่นสนิทบน iPhone 12 mini ของฉัน
      เป็นฉากที่ยอดเยี่ยมมาก เดินสำรวจได้และความละเอียดก็ดีทีเดียว

  • อ่าน [1] แล้ว แต่ก็ยังไม่ค่อยเข้าใจว่ากำลังมองอะไรอยู่กันแน่ เดาว่าน่าจะเป็น โมเดล 3D ที่รีคอนสตรักต์จากภาพความละเอียดสูงจำนวนมาก
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • มันคือการนำ ก้อนกึ่งโปร่งใส จำนวนมากมาประกอบกันให้ดูเหมือนสตรอว์เบอร์รี
      ไม่มี mesh หรือ model อยู่เลย พื้นผิวที่มองเห็นของสตรอว์เบอร์รีอาจจริง ๆ แล้วประกอบด้วยก้อนที่อยู่ห่างกันมาก แทนที่จะเป็นตำแหน่งทางกายภาพที่ดูเหมือนพื้นผิวจริง
      นั่นจึงเป็นเหตุผลที่เรียกสิ่งพวกนี้ว่า radiance field เพราะมันจำลองแสง ไม่ใช่เรขาคณิต
      ในทางปฏิบัติสามารถจำกัดตำแหน่งและการหมุนของก้อนเหล่านี้เพื่อให้เข้ากับรูปทรงเรขาคณิตของสตรอว์เบอร์รีได้ดีขึ้น
    • วิดีโอนี้อธิบายการทำงานของ Gaussian splatting ได้: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • หลักการทำงานมีคนตอบอธิบายไว้ดีแล้ว ถ้าซูมเข้าไปใกล้ภาพมาก ๆ จะเริ่มเหมือนทะลุ “ผ่าน” พื้นผิว ซึ่งช่วยให้จับหลักได้
      ประเด็นสำคัญคือมันไม่มีพื้นผิวเรขาคณิตที่นิยามไว้ หรือก็คือไม่มี mesh และการทำสแปลตที่ดีนั้นยากมาก เพราะต้องถ่ายภาพจำนวนมหาศาลจากหลายมุม ส่วนสแปลตแย่ ๆ นั้นทำได้ง่ายมาก แต่ถ้าทำได้ดีจะน่าทึ่งจริง ๆ
    • ฉันเพิ่งรู้จักมันครั้งแรกจาก https://youtube.com/watch?v=X8yRlA7jqEQ แล้วมันเจ๋งมาก
    • มีวิดีโออธิบายดี ๆ ความยาว 2 นาที: https://youtu.be/HVv_IQKlafQ

  • งดงาม
    สิ่งที่ชอบใน Gaussian splat คือวิธีที่มันเสื่อมคุณภาพ แทนที่จะหายวับไปเฉย ๆ หรือเปลี่ยนระดับรายละเอียดจนทรงกลมกลายเป็นลูกบาศก์ มันจะค่อย ๆ กลายเป็นภาพแบบ “เหมือนฝัน” โครงหลักยังอยู่ แต่รายละเอียดลดลง
    ตัวอย่างเช่นฉากนี้: https://superspl.at/scene/e721ea7c
    เมื่อขยับเข้าไปใกล้ต้นไม้ สิ่งรอบตัวจะพร่าเลือน เหมือนผืนผ้าแห่งความจริงกำลังคลายตัว

    • ถ้าอย่างนั้นคุณอาจชอบงานศิลปะที่ฉันทำต่อยอดจาก Gaussian splat ฉันเรียกมันว่า gaussographs
      https://bayardrandel.com/gaussographs
      งานใหม่กว่านี้อยู่ใน Instagram
      https://www.instagram.com/bayardrandel/
    • ฉันอาจไม่ได้เข้าใจดีนัก แต่เป็นเอฟเฟ็กต์ที่สวยมาก อย่างน้อยกับสตรอว์เบอร์รีลูกนี้ มันใกล้เคียงกับการเคลื่อนเข้าไปใกล้มากกว่าการซูม
      เวลาเข้าใกล้จะไม่เห็น “รายละเอียดปลอม” เพิ่มเติมอย่างที่คาดจากการซูม แต่เหมือนกำลังทะลุผ่านผิวเข้าไปใน ภายในที่ถูกจินตนาการขึ้น
    • ทำให้นึกถึงฉาก “ความทรงจำ” ใน Minority Report มาก: https://www.youtube.com/watch?v=arTIRgdEb1g
    • เป็นเอฟเฟ็กต์ที่น่าทึ่งจริง ๆ เหมือนโลกความจริงกำลังพังทลายกลายเป็นหมอก กระจกฝ้า สีที่ไหลเลอะ เศษออโรรา หรือปุยดอกแดนดิไลออน
      ยิ่งความสอดคล้องลดลง การสำรวจก็ยิ่งยากและคาดเดาได้ยากขึ้น
      เมื่อเทียบกับโมเดล 3D ทั่วไป มันดูใกล้กับวิธีที่จิตใจ เก็บและประมวลผลข้อมูลเชิงพื้นที่ มากกว่า
    • ฉันชอบตรงที่มันอยู่กึ่งกลางระหว่างภาพถ่ายกับโมเดล 3D ไม่มีอะไรคล้ายแบบนี้จริง ๆ

  • ถ้าเห็นแค่ภาพเบลอ ๆ แล้วไม่มีอะไรโหลดหรือทำงานเลย ลองดูใน JavaScript console ว่ามีข้อความ "WebGL not supported" หรือไม่

  • อันนี้ก็น่าสนใจเช่นกัน: https://github.com/apple/ml-sharp
    เป็นโมเดลของ Apple สำหรับสร้าง Gaussian splat จากภาพเดี่ยว ใช้เวลาประมาณ 30 วินาทีบน M1 Pro
    ถ้าขยับมากเกินไปมันจะพัง แต่ถ้าแค่โยกซ้ายขวาเล็กน้อย หรือใช้เป็นมุมมองตาที่สองใน VR ก็ยอดเยี่ยม ดูดีกว่าวิธีเก่าที่ฉันใช้ใน https://github.com/combatwombat/tiefling ซึ่งเป็น depth map + vertex shader มาก
    แต่ ml-sharp มีน้ำหนักโมเดล 2.6GB จึงใหญ่ไปหน่อยสำหรับรันในเบราว์เซอร์

    • นี่คือพื้นฐานของสิ่งที่ Apple ทำในแอป Photos บน OS เวอร์ชันล่าสุดหรือเปล่า?
      ตอนนี้ดูเหมือนจะทำงานได้เร็วกว่า 30 วินาทีมากบน iDevice และ Mac
    • มีใครรู้ไหมว่าถ้าจะรันบน Nvidia ต้องใช้ VRAM ประมาณเท่าไร?

  • เพิ่งไปรู้จัก Gaussian splatting มาเมื่อไม่กี่สัปดาห์ก่อน และนี่อาจเป็นคำถามที่ตลก ไร้เดียงสา หรือโง่ก็ได้ มีความคืบหน้าเรื่อง แสงแบบไดนามิก หรืออย่างน้อยในทางทฤษฎีพอเป็นไปได้ไหม?

    • มีงานวิจัยที่พยายามทำเรื่องนี้โดยตรงอยู่ เช่น: https://arxiv.org/abs/2601.23065
      แต่ถ้าซับซ้อนเกินกว่า diffuse reflection ก็ยากที่จะได้ วัสดุ ที่แม่นยำ
      การ relighting ด้วย AI น่าจะเริ่มใช้งานได้ดีในไม่ช้า
    • โดยพื้นฐานแล้วน่าจะส่องแสงลงบนพื้นผิวได้ แต่คงจัดการเงาได้ยาก เพราะโครงสร้างมันไม่ใช่ของแข็ง แต่ใกล้เคียงกับอนุภาคในพื้นที่ 3D มากกว่า
      อาจให้ความรู้สึกเหมือนเอาแสงแบบเรียลไทม์ของเกมเอนจินเก่ามาครอบทรัพยากรที่ค่อนข้างสมัยใหม่ แบบยุค Quake 2~3
      หรือไม่ก็อาจทำ “occlusion pre-pass” โดยสร้าง sparse voxel volume จากสแปลต แล้วกำหนด ค่า voxel opacity ที่ดูดซับแสงให้แต่ละ voxel ก็ได้มั้ง ทุกวันนี้ก็ไม่ได้ต่างจาก precomputed global illumination มากนัก
      อนึ่ง ฉันไม่ใช่ผู้เชี่ยวชาญด้านเรนเดอร์ แค่พวกชอบลองนู่นลองนี่กับ OpenGL มาก่อน

  • ก็แค่ว้าว!
    พอลองไล่ดูเว็บไซต์กลับประทับใจฉากนี้มากกว่าอีก: https://superspl.at/scene/c67edb74

    • อันนี้พอโหลดถึง 100% แล้วเบราว์เซอร์เด้งตลอดเลย บน Safari/iOS และ iPhone 13
      แต่ตัวอื่น ๆ ที่ลิงก์ไว้ในคอมเมนต์กลับเข้าไปสำรวจและใช้งานได้ แปลกดี
    • ฉันแค่อยากเทียบขนาดแบบเร็ว ๆ
      ถ้าอ่าน Chrome ถูก เว็บไซต์รวมกับข้อมูลมีขนาด 171MB
      ถ้าคำนวณไม่พลาด ก็เทียบเท่าการใช้แบนด์วิดท์ราว 40 วินาทีที่บิตเรตสูงสุดของ Netflix
    • สวยมาก และการที่สามารถ “เดิน” ขึ้นไปบนเพดานแล้วมองลงมาได้นี่เจ๋งทีเดียว
      จะให้ความรู้สึกเหมือนเป็น Quasimodo หรือเป็นพระเจ้า ก็ขึ้นอยู่กับว่าคุณประหลาดแค่ไหน
    • แต่น่าเสียดายที่บิชอปด้านหลังดูแบนไปหน่อย ;-)

  • ดูอันนี้แล้วเผลอไถลลงหลุมกระต่ายไปเจอบริษัทที่ทำ วิดีโอ Gaussian splat ด้วย: https://www.4dv.ai/. น่าสนใจ

  • เหมือนของจิ๋วสวย ๆ ชิ้นหนึ่ง เป็นเรื่องน่าสนใจที่ได้เห็น Gaussian splatting ถูกใช้กับวัตถุเล็กที่มีรายละเอียด แทนที่จะเป็นฉากขนาดใหญ่
    สิ่งที่น่าจะน่าเบื่อที่สุดเกี่ยวกับสตรอว์เบอร์รีลูกนี้คือเรื่องลิขสิทธิ์ เขาเขียนว่า “ดาวน์โหลดได้ภายใต้ CC BY license แต่ไม่จำเป็นต้องระบุที่มา ถ้าทำก็ขอบคุณ” ฉันไม่ใช่นักกฎหมาย แต่รู้สึกว่าถ้าใช้ CC-BY แล้วจะมายกเว้นข้อกำหนด BY ในคำอธิบายคงไม่ได้
    ถ้าอยากให้การระบุที่มาเป็นทางเลือก น่าจะต้องใช้ไลเซนส์ที่ผ่อนปรนกว่านี้อย่าง CC0 แล้วค่อยขอเครดิตเอาเองไม่ใช่หรือ?

    • ฉันคิดว่าทำได้ ก็เหมือนกับ “อยากทำอะไรก็ทำ” ที่เป็นเหมือนไลเซนส์ไม่เป็นทางการนั่นแหละ แค่มันค่อนข้างไม่มีความหมายเท่านั้นเอง
    • เป็นคอนเทนต์ของเจ้าตัวเอง ก็ทำอะไรก็ได้ตามต้องการ
      ก็ประมาณนั้น ในบางประเทศอย่างฝรั่งเศส สิทธิในการได้รับการระบุชื่อผู้สร้าง เป็นสิทธิพื้นฐานที่โอนไม่ได้ ดังนั้นแม้ผู้สร้างจะสละสิทธินี้ไปแบบถาวรแล้ว ก็ยังกลับมาเรียกร้องให้ระบุชื่อได้ทุกเมื่อ
      แต่ในสหรัฐฯ คู่สัญญาที่ได้รับประโยชน์จากข้อกำหนดในสัญญามักสามารถเลือกไม่บังคับใช้หรือสละข้อกำหนดนั้นได้ การจะยังเรียกสิ่งนี้ว่า “CC BY” ได้หรือไม่ยังพอถกเถียงกันได้ เพราะการระบุที่มาเป็นหัวใจสำคัญของมัน
      ถึงอย่างนั้น การออกไลเซนส์แบบ CC BY แล้วสละข้อกำหนดนั้นทันที ก็ดูสมเหตุสมผลอยู่ดี