A$AP Rocky เปิดตัวมิวสิกวิดีโอ ‘Helicopter’ ที่ใช้ Gaussian Splatting

 (radiancefields.com)
1 คะแนน โดย GN⁺ 2026-01-19 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • มิวสิกวิดีโอเพลงใหม่ ‘Helicopter’ ของ A$AP Rocky เป็นงานที่สร้างการแสดงของตัวละครเกือบทั้งหมดด้วย volumetric capture และ Gaussian Splatting
  • การถ่ายทำใช้ ชุดกล้อง RGB-D 56 ตัวของ Evercoast เพื่อบันทึกการแสดงจริงเป็น 3D และในขั้นตอนโพสต์โปรดักชันเรนเดอร์ด้วย Houdini·OctaneRender
  • ผ่าน GSOPs ของ CG Nomads และ เครื่องมือภายในของ WildCapture สำหรับจัดลำดับข้อมูลสแปลต ปรับแสงใหม่ และจัดการปฏิสัมพันธ์ทางกายภาพ
  • แม้ว่าวิดีโอจะให้ความรู้สึกเหนือจริง แต่ทุกฉากสร้างขึ้นจาก การแสดงทางกายภาพของนักแสดงจริง
  • โปรเจ็กต์นี้เป็น กรณีใช้งานจริงของ dynamic Gaussian Splatting ในวิดีโอเพลงกระแสหลัก และแสดงให้เห็นความเป็นไปได้ของการผลิตวิดีโอ 3D แบบเรียลไทม์ในอนาคต

ภาพรวมการสร้างมิวสิกวิดีโอ Helicopter

  • ‘Helicopter’ ของ A$AP Rocky เป็นมิวสิกวิดีโอที่ใช้ เทคโนโลยี Radiance Fields โดย การแสดงของตัวละครเกือบทั้งหมด ถูกแคปเจอร์ด้วยวิธี volumetric
    • วิดีโอโดดเด่นด้วยการเคลื่อนไหวที่ชุลมุนและพลังแบบ MTV ยุคแรก
    • ตัวละครถูกเรนเดอร์ในรูปแบบ Dynamic Splat เพื่อสร้างมิติของพื้นที่
  • โปรเจ็กต์นี้มี Evercoast, Grin Machine, WildCapture, Fitsū.ai และทีมอื่น ๆ เข้าร่วม
    • Evercoast รับผิดชอบการแคปเจอร์เพอร์ฟอร์แมนซ์ และ Chris Rutledge จาก Grin Machine เข้าร่วมในฐานะ CG supervisor
    • Wilfred Driscoll จาก WildCapture ให้การสนับสนุนด้านเทคนิคสำหรับ temporal consistency และ motion transition

การถ่ายทำแบบ volumetric และองค์ประกอบทางเทคนิค

  • การถ่ายทำดำเนินการใน ลอสแอนเจลิส เมื่อเดือนสิงหาคม 2025 โดยใช้ กล้อง RGB-D 56 ตัว ของ Evercoast และ เวิร์กสเตชัน Dell สองเครื่อง ที่ซิงก์กัน
    • นักแสดงห้อยอยู่กับลวดหรือบาร์บนเพดานเพื่อทำ สตันต์ทางกายภาพ
    • ใบพัดเฮลิคอปเตอร์หรือพร็อพบางชิ้นถูกแทนด้วยโครงสร้างไม้จริงเพื่อถ่ายทำในสภาพแวดล้อมที่สมจริง
  • มีการเก็บ ข้อมูลดิบรวม 10TB และเรนเดอร์ออกมาเป็นภาพสแปลตราว 30 นาที
    • ผลลัพธ์สุดท้ายถูกเอาต์พุตเป็น ลำดับไฟล์ PLY ขนาดประมาณ 1TB

ไปป์ไลน์โพสต์โปรดักชัน

  • งานโพสต์โปรดักชันดำเนินการใน Houdini โดยใช้ GSOPs ของ CG Nomads เพื่อจัดการและจัดลำดับข้อมูลสแปลต
    • ใช้ OctaneRender ของ OTOY สำหรับเรนเดอร์ขั้นสุดท้ายและรองรับ การปรับแสงใหม่ (relighting)
    • การผสาน Octane เข้ากับ Houdini มีความสมบูรณ์มากขึ้น ทำให้สามารถแสดงผล เงาและมิติความลึก ได้
  • Blender ถูกใช้ในขั้นตอนเลย์เอาต์และพรีวิชวล
    • มีการแปลงลำดับสแปลตเป็น proxy cache แบบเบาเพื่อใช้วางแผนฉาก
    • เครื่องมือภายในของ WildCapture สร้าง pose-estimation skeleton เพื่อรองรับ การชนกันและการจำลองฟิสิกส์

พรีวิวแบบเรียลไทม์และประสิทธิภาพในการผลิต

  • ระบบของ Evercoast ให้ ฟีดแบ็กเชิงพื้นที่แบบเรียลไทม์ในกองถ่าย
    • ผู้กำกับสามารถตรวจดู พรีวิวแบบ mesh-based ได้ทันทีหลังถ่ายทำ และต่อมาสามารถตรวจสอบการเรนเดอร์สแปลตเต็มรูปแบบผ่าน เว็บเพลเยอร์
    • ก่อนดาวน์โหลดข้อมูลขนาดใหญ่ สามารถเลือกเฉพาะฉากที่ต้องการเพื่อนำไปโพสต์โปรเซสต่อได้
  • เวิร์กโฟลว์นี้เป็นวิธีทำงานที่ ใกล้เคียงการจำลองมากกว่าการผลิตวิดีโอแบบดั้งเดิม ช่วยให้สร้างงานได้รวดเร็วและคุ้มค่าใช้จ่าย

การแสดงจริงและภาพลวงตาทางสายตา

  • ผู้ชมบางส่วนเข้าใจผิดว่าวิดีโอนี้เป็น งานที่สร้างด้วย AI แต่ทุกฉากล้วนสร้างจาก การแสดงทางกายภาพของนักแสดงจริง
    • ไม่ว่าจะเป็นสตันต์ การกระโดด หรือการตก ทุกการเคลื่อนไหวเกิดขึ้นจริงในพื้นที่จริง
    • ด้วย volumetric capture จึงสามารถ จัดวางมุมกล้องใหม่ และ ทำลายความต่อเนื่องของพื้นที่ ได้อย่างอิสระ จนก่อให้เกิดความรู้สึกเหมือนสิ่งที่ถูกสร้างขึ้น
  • เทคโนโลยี Radiance Field ไม่ได้มาแทนที่ความจริง แต่ทำหน้าที่ รักษาการเคลื่อนไหวและพื้นที่ของโลกจริง

ความร่วมมือก่อนหน้าระหว่าง A$AP Rocky กับ Radiance Fields

  • A$AP Rocky เคยใช้ NeRF และ Instant-NGP GUI ในมิวสิกวิดีโอ ‘Shittin’ Me’ เมื่อปี 2023
    • ‘Helicopter’ ครั้งนี้จึงถูกมองว่าเป็นส่วนต่อเนื่อง และเป็น กรณีใช้งานจริงขนาดใหญ่ของ dynamic Gaussian Splatting

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2026-01-19
ความคิดเห็นจาก Hacker News
  • ผมคิดว่าน่าทึ่งมากที่ในปี 2023 Nial Ashley (Llainwire) ทำสิ่งนี้คนเดียวและทำงานภาพด้วยตัวเองทั้งหมด
    ลิงก์วิดีโอ YouTube
    น่าเสียดายที่เขาไม่ได้รับความสนใจมากนัก ตามที่คุยกันใน Discord ศิลปินจำนวนมากเกินไปกลับมาจ้างให้ทำแต่มิวสิกวิดีโอสไตล์นี้ จนสุดท้ายเขาเลิกโปรเจกต์นี้ไปแทนที่จะได้ร่วมงานด้านดนตรี
  • ผมคือ David Rhodes ผู้ร่วมก่อตั้งของ CG Nomads เราพัฒนา GSOPs (Gaussian Splatting Operators) สำหรับ SideFX Houdini
    มิวสิกวิดีโอตัวนี้ทำขึ้นด้วยการผสาน GSOPs กับ OTOY OctaneRender
    ถ้าสนใจด้านเทคนิค ดูได้ที่ เว็บไซต์ทางการ หรือ GitHub repository
    • ด้านสุนทรียะของเทคโนโลยีนี้น่าสนใจมาก เวอร์ชันก่อนหน้านี้ดูเหมือน เมฆนอยส์ 3D แบบ glitch เต็ม ๆ เลย เลยสงสัยว่าคุณเคยคิดไหมว่าจะใช้ประโยชน์จากอินพุตที่จงใจผิดพลาดหรือการจัดแนวที่คลาดเคลื่อนเพื่อ “ใช้มันแบบผิดวัตถุประสงค์” อย่างสร้างสรรค์
    • David อยากรู้ว่าคุณเคยมองเทคโนโลยี ทางเลือกแทน 3DGS อย่าง Mesh Splatting บ้างไหม เห็นว่าบอกว่าเทรนได้เร็วกว่าและผลลัพธ์ก็ดี
    • สงสัยว่าถ้าทำเป็นปลั๊กอินสำหรับ Davinci Resolve จะสามารถรวม ข้อมูลเชิงพื้นที่ ที่ถ่ายจาก iPhone สองเครื่องให้กลายเป็นฉาก 3D เดียวได้ไหม คิดว่าถ้าเป็นชิป M4 ก็น่าจะพอไหว
    • บอกว่าเป็น “คอนเทนต์ 3D คุณภาพสูง” แต่จากในวิดีโอผมว่ามันยังไม่ค่อยถึงเท่าไร
  • ไม่คิดเลยว่าจะได้เห็น โพสต์เกี่ยวกับ A$AP บน HN ชุมชนนี้สนุกดีจริง ๆ
    • ผมเองก็นั่งคิดมาทั้งวันว่าจะโพสต์มิวสิกวิดีโอ Helicopter ลง HN ยังไงดี สุดท้ายมีคนโพสต์ด้วยมุมของ Gaussian ก็ดีใจเลย
    • ในวิดีโอเขากำลังทำ โรลม้วนผม อยู่เหรอ
    • เกือบจะมี โพสต์เกี่ยวกับ Carti ขึ้นไปอยู่หน้าแรกของ HN แล้ว
    • ผมก็ต้องมองซ้ำสองรอบเหมือนกัน ไม่คาดคิดจริง ๆ
    • แต่ผมก็ยังไม่ค่อยเข้าใจว่าทำไมถึงมองว่านั่น “เท่”
  • มีใครช่วยอธิบายแบบเข้าใจง่ายได้ไหมว่า Gaussian splatting คืออะไร แล้วที่บทความบอกว่า “ตอนนี้มันโตเต็มที่พอแล้ว” หมายความว่ายังไง
    • มันคือการสร้าง point cloud จากฉาก แล้วแทนแต่ละจุดด้วยทรงรีที่ฟุ้งกระจาย จากนั้นก็เทรนด้วย differentiable renderer วิธีนี้ทำให้สร้างฉาก 3D ที่ใกล้เคียงกับภาพถ่ายจริงอย่างมากได้
    • เป็นวิธีประมาณค่า radiance field ของพื้นที่ 3D โดยรวมวิดีโอที่ถ่ายจากหลายมุมเข้าด้วยกัน จึงสามารถจำลองมุมกล้องที่ไม่มีอยู่จริงได้ด้วย
      ถ้าใช้เทคโนโลยีนี้ในเครื่องมืออย่าง Houdini ศิลปินก็จะขยับกล้องเสมือนได้อย่างอิสระ
    • แต่ละจุดจะเป็น blob กึ่งโปร่งใส ที่สีเปลี่ยนไปตามมุมมอง จึงแสดงเอฟเฟกต์การสะท้อนหรือ ความมันวาว ได้
    • วิดีโอ 2 นาทีนี้ เป็นสื่อเริ่มต้นที่ดี
      ดูเหมือนว่าด้วย งานวิจัยหลัก ในปี 2023 รวมถึงความก้าวหน้าของ GPU และ differentiable programming ทำให้ตอนนี้มันพร้อมใช้งานในงานจริงแล้ว
    • เดโมภาพดูได้จาก บล็อกโพสต์นี้ และ เว็บไซต์นี้
  • วิดีโอนี้เจ๋งมาก ผมเข้าใจเนื้อหาบทความไม่ถึงครึ่งด้วยซ้ำ แต่กลับชอบอ่าน ประโยคที่อัดแน่นด้วยศัพท์เฉพาะ แบบนี้มาก
    ส่วนที่ว่า “นำข้อมูลเข้า Houdini จัดการด้วย GSOPs แล้วเรนเดอร์สุดท้ายด้วย OctaneRender” นี่ประทับใจเป็นพิเศษ
    • ผมเป็นหนึ่งในคนทำ GSOPs สำหรับ Houdini เอง Gaussian splat คือวิธีจำลองความเป็นจริงด้วยทรงรี 3D จำนวนมหาศาล และ Houdini ก็เด่นมากในการจัดการ ข้อมูลจุดปริมาณมหาศาล แบบนี้ ขณะที่เรนเดอร์อย่าง Octane สามารถนำมันไปรวมกับองค์ประกอบ CG แบบดั้งเดิมได้
    • ผมคือคนเขียนบทความนั้นเอง Gaussian splatting รับอินพุตเป็นภาพหรือวิดีโอ 2D ทั่วไป แล้วทำให้เกิด การฟื้นฟูภาพ 3D ที่สมจริง ได้ มันเป็นเทคนิคสาย radiance field ประเภทหนึ่ง เช่นเดียวกับ NeRF หรือ Plenoxel
    • Corridor Crew ก็เคยทำงานเจ๋ง ๆ ด้วย Gaussian splat แนะนำ วิดีโอนี้
    • สไตล์การเขียนนี้ทำให้นึกถึงฉากที่ Kurtwood Smith ขายไปป์ในเรื่อง 『The Patriot』 อย่างประหลาด
  • ผมกำลังทดลองใช้ Gaussian splatting เป็น สื่อศิลปะภาพถ่าย อยู่ ผลลัพธ์เชิง expressionist ที่เกิดขึ้นตอนข้อมูลไม่พอนั้นมีเสน่ห์มากจริง ๆ
    รวมผลงานของผม
    • งานสวยมากเลย มีที่ไหนอธิบายกระบวนการทำอย่างละเอียดกว่านี้ไหม
    • สุนทรียะมันมีเอกลักษณ์และเท่มาก
  • พูดตรง ๆ ว่าวิดีโอนี้ดูเหมือน งานเรนเดอร์ Unreal Engine รุ่นเก่า อยู่บ้าง อาจตั้งใจเอาสุนทรียะแบบนั้นก็ได้ แต่ก็สงสัยว่า Gaussian splatting จะทำให้สมจริงได้แค่ไหน
    ถ้าต้องปรับแสงหรือเงาใหม่ หรือแก้ไขบางส่วนของฉาก จะยังรักษา ความสมจริง เดิมไว้ได้ไหม?
    ช่วงนี้การทำหนังดูเหมือนจะมุ่งไปทางถ่ายหลายมุมแล้วไปจัดการหนัก ๆ ในโพสต์โปรดักชัน สุดท้ายเราอาจไปถึงยุคที่มนุษย์ใช้ Gaussian splat ส่วนฉากหลังใช้ กรีนสกรีน ก็ได้
    • สุนทรียะของวิดีโอนี้เป็นผลจากการจงใจคง artifact ของ Gaussian splatting เอาไว้ โดยเฉพาะใน 4DGS จะมีความไม่ต่อเนื่องตามเวลา และมันจะยิ่งเด่นชัดตอนทำ relighting
      ถึงอย่างนั้นเทคโนโลยีก็กำลังพัฒนาอย่างรวดเร็ว และ volumetric capture น่าจะยืนระยะได้แน่
      สำหรับสภาพแวดล้อมแบบนิ่ง คุณภาพสูงมากได้อย่าง ตัวอย่างนี้
    • จากแนวทางของศิลปินคนนี้ มันดูเป็นการเลือกเพราะ ความใหม่ของเทคโนโลยีและอิสระเชิงสร้างสรรค์ มากกว่าเรื่องงบประมาณ
    • สำหรับผมมันให้ความรู้สึกเหมือนเกม voxel อย่าง Teardown เวอร์ชันความละเอียดสูง แสงกับการเคลื่อนกล้องทำให้ยิ่งรู้สึกแบบนั้น
    • ถ้าใส่ข้อมูลที่ถูกต้อง ตอนนี้ก็น่าจะไปถึง คุณภาพ 3D ระดับ IMAX ได้แล้ว
    • วิดีโออื่นของ A$AP ก็จงใจใช้ อารมณ์ lo-fi และ retro อยู่บ่อย ๆ เช่น Yamborghini High ที่เลียนแบบเอฟเฟกต์ภาพเสียแบบ MPEG
  • ต้องดูตัวมิวสิกวิดีโอจริง ๆ สมดุลระหว่างเอฟเฟกต์เหนือจริง กับการแสดงของมนุษย์ทำได้ดีมาก
    ถ้าเพลงไม่ใช่แนวคุณ ก็ปิดเสียงแล้วดูได้
    • มิวสิกวิดีโอเพลงอื่นของ A$AP Rocky อย่าง Taylor Swif ก็มีบรรยากาศ เหนือจริงและประหลาด คล้ายกัน การกำกับแบบยุโรปตะวันออกก็จงใจให้เข้ากับธีมด้วย
      ลิงก์วิดีโอ
    • ถ้าดูจนจบ สแปลตสุดท้าย ไม่ใช่ Gaussian
  • ลิงก์ตรงไปยังมิวสิกวิดีโอ: https://www.youtube.com/watch?v=g1-46Nu3HxQ
    • คิดดีเลย เดี๋ยวจะเพิ่มลิงก์นั้นไว้ด้านบนของเนื้อหาด้วย
  • น่าเสียดายที่ดูไปประมาณ 30 วินาทีแล้ว เวียนหัว เลยต้องหยุด แต่เทคโนโลยีก็เจ๋งมากนะ มีใครรู้สึกแบบผมบ้างไหม
    • ผมชอบวิดีโอนี้มาก ไม่เวียนหัวเลย
    • ภรรยาผมก็มีอาการแบบเดียวกัน แต่ หลังช่วงอินโทรจะดีขึ้นมาก