โปรเจกต์โอเพนซอร์สที่เปลี่ยนเสียงจากปากให้เป็น Sound effect (New UX for sound generation)
(github.com/thxxx)สวัสดีครับ ผมได้สร้างโมเดลตัวหนึ่งขึ้นมาและเปิดเป็นโอเพนซอร์ส เลยอยากนำมาแชร์ครับ
เคยมีไหมครับที่ตอนทำวิดีโอหรือเกมแล้วต้องการเสียงบางอย่างโดยเฉพาะ?
ในหัวเรารู้ชัดเจนว่าเป็นเสียงแบบไหน แต่คงไม่มีวิธีว่าจะอธิบายและค้นหามันอย่างไรใช่ไหมครับ
ด้วยเหตุนี้ ถ้าได้เข้าไปฟังการประชุมเกี่ยวกับเสียงของสตูดิโอเกม ก็มักจะได้ยินเสียงแบบนี้มากกว่าบทสนทนาเสียอีก
“ฟิ้วฟิ้ว- มากกว่า น่าจะเป็น ฟิยู↘︎ฟิยู↘︎ มากกว่านะ”
ดังนั้นผมเลยสร้างมันขึ้นมาครับ!
โมเดลที่ผมสร้างคือโมเดลที่ให้คุณลองเปล่งเสียงที่ต้องการด้วยปาก แล้วนำเสียงนั้นพร้อมกับข้อความใส่เข้าไปเป็น input ให้กับโมเดล จากนั้นมันจะสร้าง sound effect นั้นออกมาให้ครับ (ใช้เวลาและข้อมูลไปค่อนข้างมาก)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(ถ้าเข้าไปฟังในลิงก์ demo จะเข้าใจได้ชัดขึ้นมากว่าหมายถึงอะไรครับ ฮ่าๆ)
11 ความคิดเห็น
เป็นโปรเจกต์ที่ยอดเยี่ยมจริงๆ!
"จะอธิบายสิ่งที่ฉันต้องการให้ AI agent เข้าใจได้อย่างง่ายดายอย่างไร"
ผมคิดว่านี่เป็นประเด็นที่สำคัญมากในช่วงนี้ และเป็นพื้นที่ที่ต้องขบคิดกันอีกมาก
เหมือนอย่างที่เราเฝ้าดูการพัฒนาของวงการ UI/UX สำหรับบริการไอที ประสบการณ์ผู้ใช้ต่อ AI ก็กำลังก่อตัวสะสมขึ้นเช่นกัน และผมคาดหวังว่าจะมีการพูดคุยกันมากขึ้นว่าอะไรใช้ได้ผลและอะไรสำคัญ
ดูเหมือนว่าจะเหมาะสำหรับนำไปใช้กับงาน SFX ในภาพยนตร์นะ
แต่ในเดโม เสียงที่ทำด้วยปากกลับเท่กว่าในฐานะเอฟเฟกต์เสียงเสียอีกนะ
พอทดสอบบ่อย ๆ เข้าก็ชำนาญแล้วนะครับ
อันนี้สนุกจริง ๆ เลย 5555
ขอบคุณครับ ฮ่าๆ
น่าสนใจจังครับ ไม่ทราบว่านอกจากเสียงพูดแล้ว ถ้าเป็นเสียงประมาณพวกโปเกมอน? R2D2? อะไรแบบนี้ก็ทำได้ไหมครับ?
ใช่ครับ ตัวโมเดลไม่ได้ฝึกด้วยเสียงพูดโดยตรง เลยคิดว่าน่าจะทำ Sound to Sound ได้ทุกรูปแบบนะครับ แต่ก็ยังไม่เคยลองทดสอบด้วยเสียงโปเกมอนเหมือนกันครับ 555
โอ้ ถ้าอย่างนั้น LLM ก็อาจสร้างอะไรคล้ายสูตรขึ้นมาเพื่อควบคุมระดับหนักเบาแล้วสร้างเสียงอิเล็กทรอนิกส์ จากนั้นใส่เป็นอินพุตพร้อมกับข้อความเพื่อให้ได้ sound effect ออกมา ก็น่าจะทำให้สร้างเอฟเฟกต์เสียงที่เข้ากับสถานการณ์ในตอนนั้นได้เลย เท่มากเลยครับ
อันนี้สนุกดีนะ 555555
ขอบคุณครับ 555