- เดโม Nintendo 64 สำหรับ Revision 2025 สร้างเอฟเฟกต์ใกล้เคียงกับ normal mapping, แสงแบบ baked และ specular แบบเรียลไทม์ โดย อัปเดตเฉพาะพาเลต แทนการคำนวณเท็กซ์เจอร์ทั้งหมดใหม่
- เมื่อ CPU อ่าน normal และสี diffuse จากแต่ละ palette index เพื่อสร้างพาเลต RGB ใหม่ เท็กซ์เจอร์แบบพาเลตจะตอบสนองราวกับได้รับแสงในระดับ texel
- diffuse texture และ normal map ใช้ palette index เดียวกันร่วมกัน และถูกสร้างโดยจัดกลุ่มเหมือนภาพ 6 ช่องสัญญาณ ด้วย K-means clustering ของ scikit-learn
- แสงของอาคารผสมผสานสี ambient ใน RGB ของ vertex, การมองเห็นดวงอาทิตย์ใน alpha ของ vertex, irradiance map สีเทา และ
dot(N, sun_dir) ของแสงอาทิตย์แบบมีทิศทาง
- ใช้ได้ดีกับแสง diffuse แบบมีทิศทาง แต่มีข้อจำกัดมากกับเงา, point light, specular ที่แม่นยำ และโมเดลขนาดใหญ่ที่มีเท็กซ์เจอร์ซ้ำ จึงต้องใช้การประมวลผลล่วงหน้าเพื่อกลบข้อจำกัด
ทำ shading ด้วยการอัปเดตเฉพาะพาเลต
- เดโม Nintendo 64 นี้สร้างขึ้นสำหรับ Revision 2025 และใช้เอฟเฟกต์ที่ใกล้เคียงกับแสงแบบ baked, normal mapping และ specular shading แบบเรียลไทม์
- บน N64 มีการทดลอง homebrew ก่อนหน้านี้ที่ทำให้รู้ว่า normal mapping เป็นไปได้ และเดโมนี้เลือกคำนวณ พาเลตผลลัพธ์ของแสง ตอนรันไทม์ แทนการคำนวณเท็กซ์เจอร์
- หากไม่มีฮาร์ดแวร์เฉพาะรองรับ ก็ยังสามารถรันโค้ด shading ใด ๆ บน CPU ได้ แต่ความเร็วในการคำนวณจะช้า
- สำหรับเท็กซ์เจอร์แบบพาเลต แค่ เปลี่ยนพาเลต ไม่ใช่ texel ทั้งหมด ก็ทำให้เท็กซ์เจอร์ทั้งภาพดูเหมือนผ่านการคำนวณแสงแล้ว
- พาเลตเดิมถูกแทนที่ด้วยพาเลตที่ผ่าน shading แล้ว
- เท็กซ์เจอร์แบบพาเลตถูกนำไปใช้กับออบเจ็กต์เหมือนเท็กซ์เจอร์ทั่วไป
- แค่ diffuse light แบบง่าย ๆ
dot(N,L) ก็ให้ผลลัพธ์ที่ดูค่อนข้างดี
- ตัวอย่างแรก ๆ ย้อนการแก้ gamma ของเท็กซ์เจอร์สีเพื่อทำ shading ใน linear space แต่ในเดโมสุดท้ายไม่สามารถใช้ได้ เพราะต้องแยกเทอม ambient และ direct light แล้วประกอบรวมด้วยฮาร์ดแวร์บนหน่วย RDP ของ N64
Normal mapping ใน object space
- normal mapping โดยทั่วไปทำใน tangent space
- สามารถใช้เท็กซ์เจอร์แบบซ้ำได้
- สามารถชดเชย vertex normal ที่ค่อย ๆ เปลี่ยนอย่างนุ่มนวลด้วย normal รายละเอียดได้
- tangent-space normal map สีเดียวแสดงถึงพื้นผิวเรียบ
- object-space normal คำนวณง่ายกว่า แต่มีข้อจำกัดมาก
- texel ของ normal map แสดง normal ผิวสัมบูรณ์ ไม่ใช่ความเบี่ยงเบนจาก vertex normal
- การคำนวณตอนรันไทม์ง่ายลงเหลือเพียงระดับการอ่านสีจากเท็กซ์เจอร์
- ทุกจุดบนพื้นผิวต้องมี texel เฉพาะตัวเหมือน lightmap
พาเลตร่วมกันของ diffuse texture และ normal map
- ออบเจ็กต์มีทั้ง diffuse texture
basecolor * ao และ normal map
- เท็กซ์เจอร์ทั้งสองใช้ palette index เดียวกัน โดย index นี้สร้างด้วย K-means clustering ของ scikit-learn
- ภาพต่าง ๆ ถูกตีความเหมือนเป็น ภาพ 6 ช่องสัญญาณ หนึ่งภาพ
- index เดียวสามารถดึงได้ทั้ง normal และสี diffuse ของพื้นผิว
- ตอนโหลดหรือในทุกเฟรม จะวนผ่านสีในพาเลต
- โค้ด shader บน CPU สร้างสี RGB ใหม่สำหรับแต่ละ index
- ผลลัพธ์ของลูปกลายเป็นพาเลตใหม่ที่มีแสงแล้ว
- แนวทางนี้เหมาะกับ แสงแบบมีทิศทาง มากที่สุดในทางปฏิบัติ
- แค่พาเลตอย่างเดียวแสดงเอฟเฟกต์อย่างเงาได้ยาก จึงต้องใช้ร่วมกับแสงแบบ baked
Ambient แบบมีทิศทางที่ baked ไว้ และแสงอาทิตย์
- อาคารในเดโมเก็บ ambient และแสงอาทิตย์โดยตรงแยกกันไว้ในสีของ vertex เพื่อให้แสงสมจริงขึ้น
- RGB ของ vertex: สี ambient
- alpha ของ vertex: การมองเห็นดวงอาทิตย์
- เทอม ambient แบ่งเป็นความเข้มแบบมีทิศทางและสี
- ความเข้มแบบมีทิศทางคือ irradiance map แบบ grayscale
- สีคือ RGB ของ vertex ที่เพิ่ม saturation
- ดวงอาทิตย์เป็นแสงแบบมีทิศทาง และส่งค่าการมองเห็นผ่าน alpha ของ vertex
- สูตร shading เป็นดังนี้
ambient = vertex_rgb * grey_irradiance_map(N)
direct = vertex_alpha * sun_color * dot(N, sun_dir)
color = diffuse_texture * (ambient + direct)
- สี vertex ของการมองเห็นดวงอาทิตย์ที่ดูรกถูก mask ด้วยการคำนวณ
N.L ทำให้ผลลัพธ์ direct light สุดท้ายสะอาดขึ้น
- ambient แบบมีทิศทางทำให้ผลลัพธ์ดูคุณภาพสูงได้ด้วยรายละเอียดของเท็กซ์เจอร์ แม้แสงที่ baked ไว้จะหยาบ
- สำหรับ environment map แบบเบลอ ใช้ equirectangular projection เพราะความเรียบง่าย
- Polyhaven HDRI ใช้ projection นี้อยู่แล้ว
- เนื่องจากคำนวณ shading ล่วงหน้าตอนโหลด คณิตศาสตร์ sampling ที่ซับซ้อนจึงไม่เป็นปัญหา
การจัดการโมเดลขนาดใหญ่ที่มีเท็กซ์เจอร์ซ้ำ
- อัลกอริทึม shading เดิมออกแบบมาสำหรับออบเจ็กต์เดี่ยว และช่วงแรกทดสอบเฉพาะกับ
potato_rock.obj
- เมชปราสาทในเดโมมี เท็กซ์เจอร์ซ้ำ จึงเกิดปัญหา
- วิธีเลี่ยงคือแบ่งเมชขนาดใหญ่ออกเป็น submesh หลายชิ้น และให้แต่ละ submesh ใช้ object-space normal map เดียวกันในเชิงแนวคิด
- จัดกลุ่ม geometry ด้วยมือใน Blender ตามวัสดุและทิศทางพื้นผิว
- คำนวณเมทริกซ์ world-to-model จาก polygon normal ของแต่ละกลุ่ม
- เมทริกซ์นี้ใกล้เคียงกับ tangent space แบบคร่าว ๆ
- แต่ละกลุ่มใช้พาเลตร่วมกัน ดังนั้นแสงโดยรวมจึงถูกต้องแค่ในความหมายเชิงค่าเฉลี่ย
- tangent space ไม่ได้ถูก interpolate ตอนรันไทม์ จึงดูเหมือน แสงระดับหน้า polygon และนี่เป็นหนึ่งในข้อเสียใหญ่ที่สุดของเทคนิคนี้
การประมาณ specular shading
- เนื่องจากหลายจุดบนพื้นผิวใช้สี shading เดียวกัน จึงคำนวณ point light หรือ specular shading ได้อย่างแม่นยำได้ยาก
- แนวทางบนพื้นที่พาเลตเหมาะกับ แสง diffuse แบบมีทิศทาง ที่ไม่ต้องใช้เวกเตอร์
to camera หรือ V
- มีการลองทำเอฟเฟกต์ specular โดยประมาณออบเจ็กต์เป็นทรงกลม
- กำหนดจุดที่จะ shading
p เป็น p = radius * normal
- เนื่องจากหลายจุดบนพื้นผิวใช้ palette index เดียวกัน ผลลัพธ์จึงหลีกเลี่ยงไม่ได้ที่จะดูเป็นเหลี่ยม
- specular highlight ในเดโมดูแปลกอยู่บ้าง แต่ก็ทำงานได้ดีพอที่จะหลอกคนส่วนใหญ่
ข้อจำกัดและข้อมูลที่เกี่ยวข้อง
- ในเดโมพยายามซ่อนข้อจำกัดหลักด้วยการประมวลผลล่วงหน้าและการจัดฉาก
-
ความไม่ต่อเนื่องของแสงและช่วงการแสดงผล
- รองรับเฉพาะเท็กซ์เจอร์ grayscale
- ไม่มี point light
- เทคนิคนี้ใช้งานได้จริงเฉพาะเมื่อมีการประมวลผลล่วงหน้าอย่างประณีต
- เทคนิคของ Spooky Iluha ไม่มีปัญหาความไม่ต่อเนื่องของแสง แต่ไม่ทราบว่าจะสามารถแก้ปัญหาเดียวกันพร้อมรักษาทั้ง ambient และ direct light ไว้ได้หรือไม่
-
ROM และงานวิจัยก่อนหน้า
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
การได้เห็น กราฟิกสมจริง บน N64 นั้นน่าประทับใจมาก และเดโมนี้ทำให้นึกถึง "ICO" ของ PS2
ผมเคยสงสัยมานานแล้วว่าจะเป็นไปได้ไหมที่จะสร้าง SDK ที่ทำ abstraction ให้ฮาร์ดแวร์กราฟิกของ N64 แล้ว提供 primitive สมัยใหม่, แสง, shading และเครื่องมืออย่างการ bake แสงล่วงหน้าแบบในเดโมนี้
N64 มีฮาร์ดแวร์ที่ค่อนข้างเป็นเอกลักษณ์เมื่อเทียบกับเครื่องรุ่นเดียวกัน และรายละเอียดเพิ่มเติมอยู่ที่ Copetti.org: https://www.copetti.org/writings/consoles/nintendo-64/
ถ้าไม่มีไลบรารี OpenGL ก็คงจะแปลกใจนิดหน่อย
แต่มี caveat ใหญ่คือ 1) ระบบนี้ควรถูกมองเหมือนกราฟิกการ์ดที่มี CPU ติดอยู่ และ 2) ระบบกราฟิกถูกเปิดเผยให้เข้าถึงโดยตรง
โครงสร้างชิปกราฟิกสุดท้ายมักกลายเป็นกองยุ่งเหยิงที่สกปรกและเข้ากันไม่ได้ ผู้ผลิต accelerator จึงมักชอบเปิด API ชั้นกลางอย่าง OpenGL, DirectX, CUDA, Vulkan มากกว่าจะเผยแพร่เอกสารอ้างอิง
แบบนั้นทำให้ยังคงเปลี่ยน implementation ภายในให้ไม่เข้ากันต่อไปได้ ถ้าไม่เปิดเอกสารอ้างอิง ก็ไม่จำเป็นต้องรักษา backward compatibility ระดับฮาร์ดแวร์ ข้อดีคือสามารถสร้างดีไซน์ใหม่ได้ แต่ข้อเสียคือแทบไม่มีใครใช้งานโดยตรงได้
ดังนั้นพอได้สิทธิ์เข้าถึงโดยตรงแบบคอนโซลในยุคนั้น สัญชาตญาณก็จะตกใจสุดขีด
เพิ่มเติมคือ OpenGL มาจาก SGI และ Nvidia ก็ก่อตั้งโดยอดีตวิศวกร SGI
ชอบที่บทความเกี่ยวกับทริกกราฟิก N64 ปิดท้ายด้วยคำถามว่า "Is this the future?"
เกมยอดนิยมกว่าสิบเกมถูก decompile ออกมาเป็นซอร์สไฟล์ที่อ่านได้ [1] ทำให้พอร์ตลง PC ได้ง่ายโดยไม่ต้องใช้ emulator และยังเปิดทางให้มี mod จำนวนมากที่รันบนฮาร์ดแวร์ต้นฉบับได้
มีแฟนรีเมก Zelda อยู่หลายตัว [2] รวมถึงเกมที่ทำเสร็จสมบูรณ์พร้อมดันเจี้ยนและเนื้อเรื่องใหม่
ฝั่ง Mario 64 นั้นร้อนแรงเป็นพิเศษ Kaze ได้ optimize เกมอย่างลึกซึ้ง [3] และกำลังสร้าง engine กับภาคต่อของตัวเองด้วย ถ้าชอบการวิเคราะห์เชิงลึกด้านเทคโนโลยีย้อนยุค ช่องของเขาคือขุมทองจริง ๆ
ยังมีเดโมสุดบ้าบิ่นอย่าง Portal ออกมาด้วย [4] และน่าเสียดายที่ดึงดูดความสนใจจากทีมกฎหมายของ Valve
เกมที่สูญหายอย่าง Dinosaur Planet ของ Rare ก็หลังจากหลุดออกมาแล้ว ถูกขัดเกลาจนเกือบอยู่ในสภาพที่ปล่อยขายได้, ถูก decompile และเกิดการฟื้นตัวแบบอินดี้ของตัวเอง [5]
[1] https://wiki.deco.mp/index.php/N64
[2] https://m.youtube.com/watch?v=bZl8xKDUryI
[3] https://m.youtube.com/channel/UCuvSqzfO_LV_QzHdmEj84SQ
ทั้งช่องยอดเยี่ยมมาก และมีบทวิเคราะห์เชิงลึกแบบนี้อีกหลายสิบรายการ: https://m.youtube.com/watch?v=DdXLpoNLywg
เกมและ engine ของเขาก็สวยงามเช่นกัน: https://youtu.be/Drame-4ufso
[4] https://m.youtube.com/watch?v=yXzoZ2AfWwg
[5] https://m.youtube.com/watch?v=s0QSiPRmWaI
ทุกครั้งที่เห็นว่าวิศวกรเกมเหล่านี้อัจฉริยะแค่ไหนก็ยังทึ่ง
ภายใต้ข้อจำกัดมหาศาล พวกเขาสร้างวิธีแก้ปัญหาที่เปี่ยมจินตนาการและยอดเยี่ยมออกมาได้
นั่นแหละคือความลับของ pico8, Animal Well และเกมน่าทึ่งอีกมากมาย
หวังว่าผมจะไม่ได้คิดโครงสร้างที่ดีกว่ามากสำหรับเครื่องมือสร้างเกม 2D pixel art ของผมขึ้นมาได้ในสุดสัปดาห์นี้ ตอนนี้ดูเหมือนกว่าจะปล่อยได้คงต้องเพิ่มไปอีกเดือน :(
ตอนนี้มีระบบที่เร็วกว่าแล้วก็ดีจริง ๆ แต่เกมสมัยก่อนมีความสนุกจากการต้องหาทางอ้อมข้อจำกัด และเมื่อทำได้สำเร็จก็ให้ความพอใจมาก
ผู้อ่าน HN น่าจะคุ้นกับ raster interrupt (https://en.wikipedia.org/wiki/Raster_interrupt) และ beam racing ส่วนตัวผมเชื่อมโยงมันกับ Atari 800 มาตลอด
ตามปกติแล้วไม่ควรทำอะไรแบบ https://youtu.be/GuHqw_3A-vo?t=33 ได้ แต่ Display List Interrupts ทำให้เป็นไปได้
สิ่งที่เพิ่งรู้ไม่นานมานี้คือเกม Atari 2600 พึ่งพาความบ้าคลั่งแบบนี้มากแค่ไหน: https://www.youtube.com/watch?v=sJFnWZH5FXc
เห็นอะไรแบบนี้แล้วทำให้คิดว่าแม้การพัฒนาฮาร์ดแวร์จะหยุดลง เราก็ยังน่าจะค้นพบสิ่งที่น่าสนใจยิ่งขึ้นได้ต่อไปอีกหลายสิบปี
เดโมซีนและงานลักษณะนี้น่าประทับใจ แต่โดยรวมแล้วมักมีแนวโน้มไหลไปทางฉากที่เรียบง่ายกว่าและโล่งกว่า
ให้ความรู้สึกใกล้เคียงกับสิ่งที่น่าจะเป็นฉากหลังในเกมหรือเป็นส่วนหนึ่งของกลไกเกมมากกว่า เทคนิคส่วนใหญ่ดูเหมือนไม่มีทรัพยากรพอจะสร้างประสบการณ์เต็มรูปแบบได้
สิ่งที่น่าประทับใจกว่านั้นคือการรีดประสิทธิภาพจากฮาร์ดแวร์เก่าให้ดีกว่ามาก อย่าง FastDoom หรือโปรเจกต์เพิ่มประสิทธิภาพ Mario 64 ต่าง ๆ
บางครั้งก็ทำได้แม้จะเพิ่มคอนเทนต์และฟีเจอร์เข้าไปด้วย เลยสงสัยเหมือนกันว่าอาจมีจุดเชื่อมโยงระหว่างนักพัฒนาเดโมซีนกับงานที่ครอบคลุมกว่านี้หรือไม่
เกมแชร์แวร์ยุค 90 ใช้เทคนิค แสงแบบอิงพาเลตต์ คล้าย ๆ กัน
โดยพื้นฐานคือเวลาเตรียมพาเลตต์ VGA 256 สี จะใส่ไล่ระดับความสว่าง N ขั้นของแต่ละสีที่รองรับไว้
จากนั้นก็เปลี่ยนความสว่างของแต่ละสีได้ง่าย ๆ เพียงบวกหรือลบดัชนีสี
คิดถึงยุค การปรับแต่งประสิทธิภาพ ของ PS1 และ PS2
ส่วนใหญ่พอเอาไปเล่นผ่านอีมูเลชันแล้วดันขึ้นเป็น 1080p หรือ 4K ขึ้นไปก็ดูเจ๋งมาก ส่วนตัวคิดว่ากราฟิกระดับยุค Halo 2 ที่ 4K ก็เพียงพอแล้ว
แน่นอนว่า Halo 2 เป็นเกม Xbox แต่ถ้าเล่น Halo 2 ใน Halo MCC ด้วยกราฟิกคลาสสิก ก็ยังดูน่าทึ่งอยู่
เอฟเฟกต์ไอร้อนพร่ามัวของ GT3 สรุปเรื่องนี้ได้ดี
“ในเดโม GT3 เขาโชว์สนามซีแอตเทิลตอนพระอาทิตย์ตก และมีฉากที่ความร้อนลอยขึ้นจากพื้นจนภาพไหว ๆ บน PS3 ไม่สามารถสร้างเอฟเฟกต์ไอร้อนพร่ามัวนั้นซ้ำได้ เพราะ read-modify-write ไม่ได้เร็วเท่าตอนใช้ PS2 เรื่องทำนองนี้แหละ”
https://old.reddit.com/r/ps2/comments/1cktw88/gran_turismos_...
https://youtu.be/ybi9SdroCTA?t=4103
ไม่ใช่การพยายามจำลองคลื่นความร้อนจริง ๆ แบบเอนจินใหม่อย่าง UE5 แต่จัดการด้วย ทริก เพื่อไม่ให้เฟรมเรตพัง พูดตรง ๆ เห็น RTX กินเฟรมเรตหนักแบบนั้นแล้ว ผมชอบทริกราคาถูกพวกนี้มากกว่า
MIPS 299MHz ยังรันอะไรแบบนี้ได้
Shadow of the Colossus: https://www.youtube.com/watch?v=xMKtYM8AzC8
GoW2: https://youtu.be/IpKLwIIdvuk?si=TjifKmlYsUuvhk0F&t=970
FFXII: https://youtu.be/NytHoYOs_4M?si=jE1Fxy40khEvV6Bn&t=51
GT4: https://www.youtube.com/watch?v=F6lZIxk_h9g (เห็นหน้าจอบูตแล้วน้ำตาจะไหล)
Black, Renderware เป็นเอนจินที่โหดมาก: https://youtu.be/bZBjcwyq7fQ?si=Pev5ifpksJm4X6Oi&t=356
Valkyrie Profile 2: https://youtu.be/9ScjO4NuUtA?si=Z29cR-hLsT2pnP2I&t=38
Rouge Galaxy: https://youtu.be/iR1evzyl-7Q?si=fldm3-NnuFxOITMn&t=624
Burnout 3: https://www.youtube.com/watch?v=_r5r0nE1sA4
ยังมี Jak and Daxter กับ Ratchet ด้วย
ฝั่ง GC ก็แน่นอนว่าดูสุดยอดมาก ทั้ง RE4, Metroid, Zelda ต่าง ๆ
ถึงกับต้องคุกเข่าให้เลย
น่าจะพอเทียบกับ Pentium 90 หรือเกือบ 100 ได้ แต่ถ้าเป็น MMX Pentium ที่มี 3DFX ติดมาด้วย ก็น่าจะเหนือกว่า PSX และเท่ากับหรือดีกว่า N64
MIPS CPU นั้นยอดเยี่ยม ทำสิ่งน่าทึ่งได้แม้คล็อกต่ำ แค่ดู PSP หรือ SGI Irix ก็เห็นแล้ว
อีกอย่าง “GPU” ของ PS2 ไม่ใช่สิ่งเดียวกับ R4k CPU
เพิ่มเติมคือพอร์ต Deus Ex บน PS2 แย่มากเมื่อเทียบกับเวอร์ชัน PC และรับมือ Unreal Engine ได้ไม่เต็มที่
จริงอยู่ที่ PS2 สร้างเอฟเฟกต์บ้าพลังได้ แต่ในพอร์ตนั้นเลเวลเล็กมากจริง ๆ ต้องคำนึงด้วยว่า Deus Ex มีส่วนสำคัญของเกมที่แทบจะเป็นโอเพนเวิลด์
เบลอ บลูม และป๊อปอินของหญ้ากับพืชพรรณไม่ได้ดูดีจริง ๆ และดูแย่กว่าการปิดทั้งหมดด้วยซ้ำ
ในเกมยิงมุมมองบุคคลที่หนึ่งที่ความเร็วสูง ก็ไม่มีเวลามานั่งชื่นชมโมเดลโพลิกอนสูงอยู่แล้ว เลยไม่รู้ว่ามันมีความหมายอะไร
สำหรับตาผม ความละเอียดเท็กซ์เจอร์ระดับ Halo 3 ก็พอแล้ว ต่อให้ขนาดเท็กซ์เจอร์เพิ่มเป็น 2 เท่าหรือ 4 เท่า ผมคงไม่สังเกตเห็น สิ่งที่สังเกตได้มีแค่ข้อกำหนดฮาร์ดแวร์ที่สูงขึ้น
วิดีโอ GoW2 ถูกจับภาพจาก PCSX2 และในคลิปนั้นน่าจะได้ประโยชน์จากการอัปสเกลกับฟีเจอร์อำนวยความสะดวกอื่น ๆ
ผมยังไม่ได้ดูวิดีโอที่เหลือทั้งหมด แต่ไม่ว่าอย่างไร สิ่งที่ GoW2 ทำได้บน PS2 ก็ยอดเยี่ยมมาก