AniSora: โมเดลสร้างวิดีโอแอนิเมชันโอเพนซอร์ส

 (komiko.app)
17 คะแนน โดย GN⁺ 2025-05-19 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • AniSora คือ โมเดล AI สำหรับสร้างวิดีโอแบบโอเพนซอร์ส ที่พัฒนาโดย Bilibili และรองรับหลากหลายสไตล์ เช่น แอนิเมชัน มังงะ และ VTuber
  • สามารถสร้าง วิดีโอแอนิเมชันความละเอียดสูง ที่มีความสมบูรณ์ได้อย่างง่ายดายจากพรอมต์ภาพหรือข้อความ
  • มอบผลลัพธ์ที่สมจริงด้านการเคลื่อนไหวและการแสดงออก ด้วยอัลกอริทึมเฉพาะทางสำหรับ มังงะและแอนิเมชัน ร่วมกับชุดข้อมูลขนาดใหญ่
  • จุดเด่นคืออินเทอร์เฟซที่ใช้งานง่ายและสภาพแวดล้อมการทำงานร่วมกันแบบชุมชนที่ แม้ผู้ใช้ที่ไม่ใช่มืออาชีพก็ใช้งานได้สะดวก
  • เหมาะกับ กรณีการใช้งานที่หลากหลาย เช่น ตอนสั้น PV VTuber และคอนเซปต์อาร์ต

AniSora คืออะไร

  • AniSora คือ โมเดลสร้างวิดีโอแอนิเมชันแบบโอเพนซอร์ส ที่ทรงพลังที่สุดซึ่งพัฒนาโดย Bilibili
  • สามารถสร้างวิดีโอได้หลากหลายสไตล์ด้วยการคลิกเพียงครั้งเดียว เช่น ซีรีส์แอนิเมชัน ดงฮวา มังงะต้นฉบับ VTuber และแอนิเมชัน PV
  • สามารถเปลี่ยนฉากนิ่งให้กลายเป็น แอนิเมชันที่มีชีวิตชีวาและละเอียดอ่อน ได้ด้วยเพียงพรอมต์ภาพหรือข้อความ
  • งานวิจัยพื้นฐานของ AniSora อ้างอิงจาก บทความวิชาการเทคโนโลยีล่าสุดที่ได้รับการตอบรับใน IJCAI’25

แนะนำตัวอย่างของ AniSora

  • วิดีโอตัวอย่างที่สร้างด้วย AniSora แสดงให้เห็นความสามารถในการเปลี่ยน ภาพนิ่งให้กลายเป็นแอนิเมชันที่เคลื่อนไหวอย่างเป็นธรรมชาติ
    • ตัวอย่างเช่น ฉากผมปลิวตามลมในรถ ท่าเต้นของเด็กผู้หญิงหลายคนที่ยกมือขึ้น และโมชั่นเบลอของตัวละครที่กำลังวิ่งด้วยความเร็วสูง
  • โมเดลนี้ถ่ายทอดองค์ประกอบสำคัญในมังงะและแอนิเมชันได้อย่างสมจริง ไม่ว่าจะเป็น การแสดงอารมณ์ของตัวละคร การเคลื่อนไหว และการเปลี่ยนฉาก

จุดเด่นหลักของ AniSora

อัลกอริทึมที่ออกแบบมาเฉพาะสำหรับสไตล์แอนิเมชัน/มังงะ

  • ใช้โครงสร้างโมเดลเฉพาะทางที่ฝึกด้วย ชุดข้อมูลแอนิเมชันและมังงะขนาดใหญ่
  • สามารถ ถ่ายทอดซ้ำสไตล์ภาพและวิธีการนำเสนอที่เป็นเอกลักษณ์ ได้อย่างแม่นยำ
  • รองรับ เอาต์พุตคุณภาพสูง ที่สะท้อนทั้งผลงานมังงะต้นฉบับรุ่นใหม่และเทรนด์ล่าสุด

อินเทอร์เฟซที่ใช้งานง่าย

  • ออกแบบมาเพื่อให้ผู้ใช้ที่ไม่คุ้นเคยกับเทคโนโลยีก็สามารถ สร้างวิดีโอได้ด้วยตนเอง
  • เพียงคลิกครั้งเดียว ใคร ๆ ก็สามารถสัมผัสประสบการณ์ การสร้างวิดีโอมังงะและ VTuber ได้อย่างง่ายดาย

รองรับวิดีโอแอนิเมชันคุณภาพสูง

  • AniSora รองรับ เอาต์พุตวิดีโอความละเอียดสูง 1080p เป็นพื้นฐาน
  • วิดีโอได้รับการปรับให้เหมาะกับหลายแพลตฟอร์ม จึงสามารถนำไปใช้กับ โปรเจกต์ โซเชียลมีเดีย PV และช่องทางต่าง ๆ ได้

สรุป FAQ ของ AniSora

AniSora คืออะไร?

  • AniSora เป็นส่วนหนึ่งของ Project Index-AniSora และเป็นโมเดลสร้างวิดีโอแอนิเมชันแบบโอเพนซอร์สที่ Bilibili เปิดเผย
  • สามารถสร้าง วิดีโอความละเอียดสูงในสไตล์แอนิเมชัน ได้โดยอัตโนมัติจากพรอมต์ภาพหรือข้อความเท่านั้น
  • สะท้อนผลงานวิจัยล่าสุดที่ให้ความสำคัญกับ ความสม่ำเสมอของการเคลื่อนไหว และ พลังการถ่ายทอดอารมณ์

แตกต่างจากเครื่องมือสร้างวิดีโอ AI อื่นอย่างไร

  • AniSora มุ่งเน้นประสิทธิภาพที่เชี่ยวชาญด้าน สไตล์แอนิเมชันและมังงะ
  • ด้วย ความเชี่ยวชาญของ Bilibili และการเป็นโครงการโอเพนซอร์สที่ขับเคลื่อนโดยชุมชน จึงเหมาะอย่างยิ่งกับ การสร้างวิดีโอเฉพาะทาง เช่น ซีรีส์แอนิเมชัน มังงะต้นฉบับ และ VTuber

รองรับวิดีโอและเสียงหรือไม่

  • ขณะนี้ AniSora เป็นโมเดลที่มุ่งเน้น การสร้างวิดีโอ เป็นหลัก
  • สำหรับการรองรับฟีเจอร์เพิ่มเติม เช่น การสังเคราะห์เสียง จำเป็นต้องตรวจสอบเอกสารล่าสุด

เหมาะกับนักสร้างสรรค์แอนิเมชัน/มังงะหรือไม่

  • AniSora ได้รับการปรับให้เหมาะกับ ความสม่ำเสมอของตัวละครและการเคลื่อนไหวที่ถ่ายทอดอารมณ์ จึงเป็นเครื่องมือที่เหมาะอย่างยิ่งสำหรับครีเอเตอร์ โดยเฉพาะในสายแอนิเมชัน PV มังงะ และ VTuber

กรณีการใช้งานหลัก

  • รองรับการใช้งานอย่างกว้างขวาง เช่น แอนิเมชันสั้น วิดีโอสำหรับโซเชียลมีเดีย PV แอนิเมชันจากพาเนลมังงะ VTuber คอนเซปต์อาร์ต และสตอรีบอร์ด

คุณภาพและความยาวของวิดีโอ

  • AniSora มีจุดเด่นด้านการสร้างวิดีโอสั้นตามมาตรฐาน ความละเอียดสูง (1080p)
  • โดยทั่วไปเหมาะกับ คลิปสั้น และสามารถตรวจสอบข้อจำกัดโดยละเอียดจากเอกสารทางการล่าสุด

วิธีควบคุมสไตล์และการเคลื่อนไหว

  • ผู้ใช้สามารถกำหนดสไตล์ภาพและการเคลื่อนไหวที่ต้องการได้ผ่านการป้อน พรอมต์ภาพหรือข้อความ
  • ด้วยข้อมูลจากสายงานแอนิเมชัน รองรับการควบคุมขั้นสูง เช่น การปรับแต่งการเคลื่อนไหว ความสม่ำเสมอของตัวละคร และการใช้สไตล์รายละเอียดเฉพาะ
  • ขอบเขตการใช้งานที่รองรับ อาจแตกต่างกันไปตามเวอร์ชันหรืออินเทอร์เฟซ

บทสรุป

  • AniSora คือ โมเดล AI แบบโอเพนซอร์สประสิทธิภาพสูงสำหรับสร้างวิดีโอ ที่เชี่ยวชาญด้านการผลิตแอนิเมชันและวิดีโอมังงะ/VTuber
  • ข้อดีสำคัญคือ ความสามารถในการถ่ายทอดสไตล์ที่แตกต่าง วิธีใช้งานที่เข้าใจง่าย และการสร้างวิดีโอคุณภาพสูง
  • ด้วยการให้ความสำคัญกับ วัฒนธรรมโอเพนซอร์สของชุมชนและการสนับสนุนครีเอเตอร์ จึงมีคุณค่าในการใช้งานสูงทั้งในวงการแอนิเมชันญี่ปุ่นและดงฮวา

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-05-19
ความคิดเห็นจาก Hacker News

  • รู้สึกว่าผลงานบางส่วนมีร่องรอยชัดเจนว่าไปเรียนรู้มาจากเว็บตูน มังงะ หรืออาจรวมถึง pixiv ด้วย หลักฐานเห็นได้ง่ายจากอาคารสไตล์ CG หรือสิ่งแปลกปลอมเทียมอื่น ๆ สุดท้ายก็เลยสรุปได้ว่าเทรนมาจากข้อมูลที่มีลิขสิทธิ์ เพราะศิลปะไม่ใช่สิ่งที่สร้างแบบสังเคราะห์เหมือนข้อความได้ ศิลปินมนุษย์จึงน่าจะยังมีความสำคัญไปตลอด หรือไม่ก็ผลลัพธ์จะยังมีสิ่งเพี้ยนประหลาดโผล่มาเรื่อย ๆ เลยทำให้นึกไปถึงอนาคตที่ศิลปินอาจถูกลดบทบาทเหลือแค่อาชีพสำหรับ "ฝึก AI" แต่ถ้าเป็นโครงสร้างที่คนวาดสิ่งที่ตัวเองชอบ แล้วเอาสิ่งนั้นไปใช้ฝึกโมเดล ก็ดูไม่เลวนัก ผมเป็นคนที่สนับสนุน AI มากในประเด็นลิขสิทธิ์และเครื่องหมายการค้า แต่ก็ยังสงสัยอยู่เสมอว่าสุดท้ายจะเกิดอะไรขึ้นกับคนจำนวนมากที่เคยมอบความสนุกให้เรา คุณภาพจะดีขึ้นเรื่อย ๆ หรือสุดท้ายสไตล์ท้าทายทั้งหลายจะหายไปเพราะ "ยากเกินไปสำหรับ AI" จนทุกอย่างคล้ายกันหมดกันแน่ ความรู้สึกนี้ต่างจากตอนที่พีซีหรือเครื่องจักรมาแทนแรงงานคน มันเหมือนมาถึงปลายทางอะไรบางอย่าง

    • ผมรู้สึกเห็นใจนักวาดภาพประกอบและศิลปินนะ แต่ก็คิดว่าไม่ค่อยมีความต่างมากนัก ไม่ว่าข้อมูลฝึกจะเป็นนิยาย ภาพวาด เพลง โค้ด หรือแม้แต่เอกสารกฎหมาย แม่ของผมก็เคยเปลี่ยนผ่านจากนักแปลยุคเครื่องพิมพ์ดีดไปสู่สภาพแวดล้อมแบบคอร์ปัส/ฐานข้อมูลของแมชชีนทรานสเลชัน งานค่อย ๆ น้อยลง ค่าแรงก็ลดลง สุดท้ายงานที่เป็นกลไกและทำซ้ำ ๆ ก็ถูกหุ่นยนต์ที่ถูกกว่ามาทำแทนอยู่ดี
    • ในฐานะศิลปินที่วาดรูปมาเกิน 30 ปี การบอกว่าจะถูกลดชั้นไปเป็นผู้ช่วยฝึก AI นั้นฟังไม่ขึ้นเลย ศิลปินไม่ได้วาดเพื่อหาเงินอย่างเดียว หลายคนวาดเพราะ "ความสนุก" ด้วย ตลอด 3 ปีที่ถกกันเรื่อง AI ผมเสียดายที่ประเด็นแก่นแท้นี้หายไปตลอด
    • การลดศิลปินให้เป็นแรงงานสำหรับ "ฝึก AI" ไม่น่าจะแย่อะไรอย่างนั้นหรือ? ผมว่ามันเป็นสถานการณ์แบบนิยายดิสโทเปีย ศิลปินส่วนใหญ่ไม่ชอบให้ผลงานตัวเองถูกป้อนเข้าโมเดลแล้วแยกย่อยเพื่อใช้แบบนั้น มันไม่ใช่ศิลปะอีกต่อไป เป็นแค่ชิ้นส่วนของเครื่องจักร ศิลปะไม่ใช่แค่การสุ่มวาดภาพไม่กี่ภาพ แล้วในสถานการณ์แบบนั้นศิลปินจะเอาอะไรกิน ใครจะจ่ายให้คน "วาดสิ่งที่ตัวเองอยากวาด" แล้วเอามาป้อนโมเดล และจะมีสักกี่คนที่ถูกจ้างเพื่อการนั้น นี่คือคำถามพื้นฐาน ตอนนี้ในอินเทอร์เน็ตก็มีภาพงานพัง ๆ เต็มไปหมดอยู่แล้ว และผมมั่นใจว่าตลาดของสแปมหรือการหลอกลวงที่ใช้ของพวกนี้หลอกคน น่าจะใหญ่กว่าตลาดของผู้สร้างสรรค์ตัวจริงไปแล้ว และมันจะยิ่งแย่ลงอีก
    • ปัญหาที่ผมรู้สึกได้จากการถกเรื่อง AI กับลิขสิทธิ์คือ มีแต่บริษัทใหญ่ ๆ ที่ได้ประโยชน์ ใน ChatGPT และบริการคล้ายกัน งานที่มีชื่อเสียงจะถูกบล็อกอัตโนมัติ แต่ผลงานของศิลปินรายเล็กกลับไม่เป็นแบบนั้น ผมมองว่าควรเปิดให้ทุกคนเท่ากัน หรือไม่ก็ไม่เปิดให้ใครเลย
    • ผมเข้าใจจุดยืนที่ปกป้องลิขสิทธิ์ของศิลปิน ขณะเดียวกันก็สนับสนุน AI อย่างแข็งขันในแง่ลิขสิทธิ์ด้วย มันน่าสนใจมาก เรื่องนี้เป็นหัวข้อที่กระตุ้นอารมณ์คนจำนวนมาก ปกติจึงมักเห็นแต่ความเห็นสุดโต่ง การมองทั้งสองด้านแบบนี้หาได้ยาก ผมอยากรู้ว่าคุณคิดอย่างไรเกี่ยวกับบทบาทของลิขสิทธิ์ในยุค AI

  • ในที่สุดเราก็อาจใกล้ถึงยุคที่สร้าง Haruhi ซีซัน 3 แบบที่เราต้องการได้แล้วก็ได้ ตื่นเต้นจริง ๆ รู้สึกว่าเป็นช่วงเวลาที่ยอดเยี่ยมสำหรับการมีชีวิตอยู่

    • อีก 5 หรือ 10 ปีค่อยมาคุยกัน ตอนนี้ผมยังไม่รู้สึกว่ามันใกล้ขนาดนั้น แต่ก็อยากรู้ว่าทิศทางต่อจากนี้จะเป็นอย่างไร
    • นี่คือซีรีส์แรกที่ผมได้ดูอย่างจริงจังในโลกของอนิเมะ (ไม่นับหนังหรืออะไรอย่าง DBZ) ทุกวันนี้ก็ยังจำความทรงจำได้ชัดมาก น่าเสียดายจริง ๆ ที่มันหยุดไปเพราะผู้กำกับ ถ้าใครสักคนทำซีรีส์นี้ต่อให้จบ หรือรีบูตแล้วปิดเรื่องให้สมบูรณ์ได้ มันคงเป็นของขวัญที่ดีที่สุดเลย
    • หรือไม่ก็อยากได้รีเมคของ Neon Genesis Evangelion เหมือนกัน
    • เดี๋ยวนะ... อย่าบอกนะว่านี่ยังไม่จบ? ผมเพิ่งดูซีซัน 1 เป็นครั้งแรกอยู่เลย...
    • ผมลืมอนิเมะเรื่องนี้ไปนานกว่าสิบปีแล้ว พอได้ยินชื่ออีกครั้งก็โดนความคิดถึงเล่นงานเต็ม ๆ

  • ลองทดสอบด้วยภาพโปรโมตของ <i>Neon Genesis Evangelion</i> ผลออกมาโอเค แต่ระหว่างที่หัวหมุน เส้นผมมีสิ่งเพี้ยนเชิงเวลาเกิดขึ้น มีหน้ารวมตัวอย่างและข้อมูลอ้างอิงให้ดูด้วย

    • ลิงก์ใช้ไม่ได้

  • สรุปจากข้อความคัดมาของงานวิจัย: "มีการนำวิธีฝึกแบบความยาวแปรผันมาใช้ ฝึกกับช่วง 2 ถึง 8 วินาที กลยุทธ์นี้ทำให้สร้างวิดีโอ 720p ที่มีความยาว 2-8 วินาทีได้" อยากลองเอาไป benchmark กับ FramePack ดู ผมคิดว่าในงานแอนิเมชัน 2D มันมีข้อดีตรงที่แทบไม่มีข้อจำกัดเรื่องระยะเวลาคงอยู่ของเฟรม

  • ถ้าสนใจคอนเทนต์แอนิเมชัน AI ก็แนะนำให้เข้าร่วมการแข่งขัน AniGen

    • กำหนดส่งคือ 20 พฤษภาคม น่าจะต้องรีบหน่อย

  • สงสัยว่าจะสามารถทำให้ตัวละครเดียวกันคงความสม่ำเสมอในหลายฉาก หลายมุมมองได้ไหม ผมคิดว่านั่นเป็นข้อจำกัดของวงการสร้างภาพมาจนถึงตอนนี้

  • แค่ตัวอย่างแรกก็เห็นข้อผิดพลาดเยอะแล้ว แขนเสื้อแตก ผมที่กำลังขยับหายไปแล้วก็กลับมาใหม่ สุดท้ายแล้วสิ่งที่ขยับจริง ๆ ส่วนใหญ่ก็มีแค่แขนกับก้อนเมฆ

  • ต่อให้เปลี่ยนบัญชีหรือค่าอินพุต ก็ยังเกิดข้อผิดพลาดแปลก ๆ ทุกครั้ง ใช้งานไม่ได้จริง

  • ผมสงสัยเรื่องสถานะลิขสิทธิ์ของวิดีโอที่สร้างด้วยบริการแบบนี้ อยากรู้ว่ามันได้รับความคุ้มครองลิขสิทธิ์ไหม ตอนนี้จุดยืนของสำนักงานลิขสิทธิ์สหรัฐฯ คือ "ผลลัพธ์จาก generative AI จะได้รับความคุ้มครองลิขสิทธิ์ก็ต่อเมื่อผู้สร้างที่เป็นมนุษย์เป็นผู้กำหนดหรือใส่องค์ประกอบเชิงสร้างสรรค์อย่างเพียงพอ" ถ้าไม่ได้รับความคุ้มครอง การทำหนังหรือผลงานอื่นด้วยบริการแบบนี้ก็อาจเสี่ยงถูกคัดลอกหรือลอกเลียนไปตรง ๆ ได้ อนึ่ง ประเด็นว่าเครื่องมือนี้ฝึกจากข้อมูลอะไร ขอแยกออกไปก่อน

  • ผมอยากเห็นจริง ๆ ว่าฉากต่อสู้ใน <i>The Beginning After the End</i> จะเปลี่ยนไปแค่ไหนถ้าผ่านเครื่องมือนี้ ผมสนใจทิศทางในอนาคตอย่างจริงจัง ผู้คนจะยอมรับได้ไหมถ้ามีข้อผิดพลาดทางภาพหรือสิ่งเพี้ยนมากขึ้นอีกหน่อย ตราบใดที่ได้ซีซันใหม่ของแฟรนไชส์ที่ชอบ หรือสุดท้ายจะรู้สึกต่อต้านเหมือนตอนเห็นการใช้โมเดล 3D แบบไม่เนียน?

    • Toei Animation มีแผนจะนำ AI ไปใช้ในหลายด้าน ตัวอย่างเช่น การทำสตอรีบอร์ด (สร้างเลย์เอาต์ง่าย ๆ และมุมกล้อง), การลงสีและปรับสีอัตโนมัติ, งาน in-between animation (สร้าง line drawing และฉากคั่นกลางอัตโนมัติ), และฉากหลัง (สร้างอัตโนมัติจากภาพถ่าย) โดยยังให้ผู้กำกับรับผิดชอบคุณภาพขั้นสุดท้ายอยู่ ผมจึงคิดว่าน่าจะออกมาดีโดยไม่มีสิ่งเพี้ยน และฝั่งครีเอเตอร์อินดีก็น่าจะได้ประโยชน์ เพราะถึงจะไม่สมบูรณ์แบบ ก็ยังสร้างผลงานของตัวเองได้
    • ในสถานการณ์ที่ยังไม่มีความพยายามใหม่หรือความก้าวหน้าระดับนี้จริง ๆ มันยังคุ้มค่าที่จะให้ความหมายหรือถกกันไหม? ผมลองใช้จริงแล้ว และข้อเสียเดิม ๆ ของ AI สร้างวิดีโอก็ยังอยู่ครบ มันอ่อนที่สุดกับฉากแอ็กชันที่ต่อเนื่องหรือมีความเคลื่อนไหวสูง โดยเฉพาะในอนิเมะที่มีฉากแอ็กชันเยอะ ๆ ซึ่งมันยังรับมือไม่ไหว เครื่องมือนี้ก็ยังไม่น่าพอใจ และโมเดลปิดเชิงพาณิชย์ส่วนใหญ่ก็ไม่ได้ดีกว่าเท่าไร
    • จินตนาการถึงอนาคตที่ AI อาจถูกนำมาใช้กับงาน in-between animation ได้