• LANISTR เป็นเฟรมเวิร์กใหม่ที่ทำให้การเรียนรู้แบบหลายโมดัลเป็นไปได้ โดยรับข้อมูลทั้งแบบไม่มีโครงสร้าง (ภาพ, ข้อความ) และแบบมีโครงสร้าง (อนุกรมเวลา, ตาราง) จากนั้นทำการจัดแนวและหลอมรวม ก่อนจะสร้างผลการคาดการณ์ในท้ายที่สุด
• โดยเฉพาะอย่างยิ่ง มันช่วยแก้ปัญหาอย่างการโอเวอร์ฟิตและการทำให้เป็นทั่วไปได้ไม่ดีนักเมื่อฝึกบนชุดข้อมูลที่มีขนาดจำกัด รวมถึงปัญหาการขาดหายของบางโมดัลในข้อมูลหลายโมดัลที่มีตั้งแต่สองโมดัลขึ้นไป
• สถาปัตยกรรมของ LANISTR ประกอบด้วยตัวเข้ารหัสแยกตามแต่ละโมดัลลิตี และโมดูลตัวเข้ารหัส-ถอดรหัสแบบหลายโมดัลที่ทำหน้าที่เป็นกลไกการหลอมรวม โดยใช้ cross-attention เพื่อจับความสัมพันธ์ข้ามโมดัล
• แกนหลักของระเบียบวิธี LANISTR มีรากฐานมาจากการฝึกแบบอิงการมาสก์ซึ่งใช้ทั้งในระดับยูนิโมดัลและมัลติโมดัล โดยมีเป้าหมายการพรีเทรน 2 ประเภท ได้แก่ เป้าหมายการมาสก์แบบยูนิโมดัล และค่าความสูญเสียการมาสก์แบบมัลติโมดัลที่อิงความคล้ายคลึง
• LANISTR ทำผลลัพธ์ระดับ state-of-the-art ได้ในงานที่ท้าทายหลายประเภท และเหนือกว่า baseline คู่แข่งทั้งบนชุดข้อมูลการแพทย์ MIMIC-IV และข้อมูลรีวิว Amazon
• งานนี้แสดงให้เห็นถึงความสำคัญของการใช้ข้อมูลที่ไม่มีป้ายกำกับและข้อมูลที่มีป้ายกำกับร่วมกันเพื่อเรียนรู้จากข้อมูลแบบมีโครงสร้างและข้อมูลไม่มีโครงสร้าง ตลอดจนความสามารถในการรับทุกโมดัลเข้ามาใช้อย่างครบถ้วน ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากระหว่างการพรีเทรนแบบไม่มีผู้สอน และจัดการกับโมดัลที่ขาดหายได้อย่างราบรื่น
• LANISTR มีศักยภาพในการประยุกต์ใช้ในหลายโดเมน รวมถึงการวินิจฉัยทางการแพทย์และการพยากรณ์อุปสงค์ในค้าปลีก
ยังไม่มีความคิดเห็น