Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) อธิบายอย่างละเอียดถึงกระบวนการใช้ Stable Diffusion เพื่อสร้างพื้นหลังของเกม RPG มุมมองไอโซเมตริก 2D (หรือที่เรียกกันว่า quarter view)
เครื่องมือที่ใช้:
- Stable Diffusion v1.5
- Automatic1111 WebUI
- Alpaca Photoshop Plugin
- Boosting Monocular Depth
- Substance Designer
- Unity URP
- Amplify Shader Editor
ในช่วงแรกตั้งค่า step count ไว้ต่ำ ทำให้ผลลัพธ์ออกมาไม่ค่อยดีนัก แต่เมื่อเพิ่ม step count ไปที่ระดับ 100+ และใช้ CFG (classifier free guidance) ที่ 15~30 ก็ได้ผลลัพธ์ที่น่าสนใจมากขึ้น
จากนั้นนำภาพที่สร้างได้ไปแก้ไขใน Photoshop และใช้ปลั๊กอิน Stable Diffusion ชื่อ Alpaca เพื่อเพิ่มความละเอียดของภาพ
การลบแสงเดิมออกและเพิ่มแสงตามต้องการ จำเป็นต้องมี normal map ของฉาก 2D จึงใช้ MiDaS และ LeRes ใน Boosting Monocular Depth เพื่อทำให้การสร้าง depth map ของภาพเป็นแบบอัตโนมัติ
จากนั้นนำ MiDaS depth map ที่สร้างขึ้นและภาพ LeRes depth map แบบกลับด้าน มาแปลงเป็น normal map ใน Substance Designer ด้วยโหนด Height to Normal World Units แล้วใช้โหนด normal blend เพื่อรวมทั้งสองเข้าด้วยกัน
มีการทดลองใช้ parallax occlusion mapping โดยอาศัย depth และ normal map ของเชดเดอร์ Unity URP แบบคัสตอมที่สร้างด้วย Amplify Shader Editor เพื่อเพิ่มมุมมองลวงตาแบบ 3D เล็กน้อยตามการเคลื่อนที่ของกล้อง แต่เนื่องจาก depth ไม่แม่นยำสำหรับมุมมองไอโซเมตริก จึงดูไม่ค่อยดีนัก
ยังมีการพยายามเพิ่มเงาจาก directional light ด้วยการทำ normal mapping shadow แต่พบว่าไม่เหมาะกับการใช้เป็นแสงจริง อย่างไรก็ตาม อาจนำไปใช้เป็น custom lighting pass สำหรับจัดการแสงเงาของตัวละคร 3D ได้
มีการแบ่งภาพ 2K ออกเป็น 4 ส่วน แล้วใช้พรอมป์ต์เดียวกับตอนแรกใน img2img เพื่อเพิ่มความละเอียดของแต่ละส่วน แต่พบปัญหาว่ารอยต่อของขอบภาพไม่ต่อเนื่องกัน สุดท้ายจึงใช้กระบวนการเดียวกันสร้างภาพสำหรับเชื่อมระหว่างภาพที่อัปสเกลแบบแบ่ง 4 ส่วน แล้วนำไปประกอบรวมใน Photoshop จนได้ภาพสุดท้ายขนาด 4K
GeekNews ที่เกี่ยวข้อง:
https://th.news.hada.io/topic?id=7206
1 ความคิดเห็น
นักพัฒนาได้เผยแพร่ขั้นตอนการพัฒนาอื่น ๆ เพิ่มเติมด้วย:
การสร้างโมเดลตัวละคร 3D ด้วย Stable Diffusion:
https://talesofsyn.com/posts/creating-3d-character-models
การปรับจูนละเอียดโมเดล DreamBooth ในสไตล์ไอโซเมตริก:
https://talesofsyn.com/posts/fine-tuning-isometric-style