Omnizart - โอเพนซอร์สสำหรับถอดความเพลงทั้งเพลง

"Omniscient Mozart (โมสาร์ทผู้รอบรู้ทุกสิ่ง)"

• ถอดความ (Transcribe) เสียงร้อง/กลอง/คอร์ด/บีต/เครื่องดนตรี ฯลฯ จากเพลงในลิงก์ MP3/YouTube โดยอัตโนมัติ

→ สร้างเป็น MIDI และ MP3 ให้ได้

• เป็นไลบรารี Python

→ รันได้ทันทีบน Google Colab หรือใช้งานบน Replicate ได้

• โหมด

→ music : ถอดโน้ตของเครื่องดนตรี

→ drum : ถอดอีเวนต์ของเครื่องกระทบ

→ vocal : ถอดเมโลดี้เสียงร้องระดับโน้ต

→ vocal-contour : ถอดเมโลดี้เสียงร้องระดับเฟรม

→ chord : ถอดลำดับคอร์ด

→ beat : ถอดบีต

[budlebee]

ผมลองใช้ดูแล้ว รู้สึกว่าคุณภาพใกล้เคียงกับซอฟต์แวร์เชิงพาณิชย์อย่าง Melodyne เลยครับ

ช่วงที่มีแค่เปียโนออกมานี่แทบจะสมบูรณ์แบบ และช่วงที่มีหลายเครื่องดนตรีเล่นพร้อมกันก็ยังดึงโน้ตบนสุดอย่างเมโลดี้ของเสียงร้องหรือเมโลดี้ของเครื่องดนตรีออกมาได้ในระดับที่น่าพอใจครับ

[xguru]

ผมลองใส่ลิงก์มิวสิกวิดีโอ YouTube ของเพลง All Of Me ของ John Legend ที่ผมชอบลงไปใน Colab แล้ว

ช่วงต้นที่เป็นเปียโนมันดึงออกมาเป็น MIDI ได้ดีมากจนแทบจะสมบูรณ์แบบเลยครับ ส่วนช่วงหลังที่มีโน้ตซ้อนกันก็จะซับซ้อนขึ้นมานิดหน่อย..

เพลงที่หาโน้ตได้ยากก็น่าจะลองรันดูสักครั้งครับ

ดึงออกมาเป็น MIDI แล้วเอาไปใส่ใน Sibelius หรือ MuseScore ปรับแก้นิดหน่อย จากนั้นก็น่าจะพิมพ์ออกมาเป็นโน้ตได้