การพยากรณ์อนุกรมเวลาระยะยาวด้วย xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• ในช่วงไม่กี่ปีที่ผ่านมา โมเดลที่อิงกับ Transformer แสดงผลงานโดดเด่นในการพยากรณ์อนุกรมเวลาพหุตัวแปรระยะยาว (LTSF) อย่างไรก็ตาม ยังเผชิญกับปัญหาอย่างความต้องการด้านการคำนวณที่สูง ความยากในการจับพลวัตเชิงเวลา และการจัดการการพึ่งพาระยะยาว
• การมาถึงของ LTSF-Linear ซึ่งมีโครงสร้างเชิงเส้นอย่างเรียบง่าย ได้แสดงผลลัพธ์ที่เหนือกว่าโมเดลที่อิงกับ Transformer ทำให้เกิดการประเมินใหม่ถึงประโยชน์ของ Transformer ในงานพยากรณ์อนุกรมเวลา
• เพื่อตอบโจทย์นี้ งานวิจัยนี้นำเสนอผลการประยุกต์ใช้สถาปัตยกรรมล่าสุดอย่าง expanded LSTM (xLSTM) กับ LTSF โดย xLSTM มีศักยภาพที่เหมาะกับ LTSF จากการใช้ exponential gating และโครงสร้างหน่วยความจำที่ปรับแก้ให้มีความจุสูงขึ้น
• xLSTMTime ซึ่งเป็นสถาปัตยกรรม LTSF ที่เรานำมาใช้ มีประสิทธิภาพเหนือกว่าแนวทางปัจจุบัน จากการเปรียบเทียบประสิทธิภาพของ xLSTMTime กับโมเดลล้ำสมัยหลากหลายแบบบนชุดข้อมูลจริงหลายชุด พบว่าสามารถแสดงความสามารถในการพยากรณ์ที่ยอดเยี่ยม
• ผลการวิจัยของเราชี้ให้เห็นว่า สถาปัตยกรรมแบบเวียนกลับที่ได้รับการปรับปรุงสามารถเป็นทางเลือกที่มีศักยภาพในการแข่งขันกับโมเดลที่อิงกับ Transformer สำหรับงาน LTSF และอาจนิยามภูมิทัศน์ของการพยากรณ์อนุกรมเวลาใหม่

สรุปโดย GN⁺

• งานวิจัยนี้นำ xLSTM มาใช้เพื่อก้าวข้ามข้อจำกัดของโมเดลที่อิงกับ Transformer และแสดงประสิทธิภาพที่ยอดเยี่ยมในการพยากรณ์อนุกรมเวลาระยะยาว
• xLSTMTime พิสูจน์ความสามารถในการพยากรณ์ที่เหนือกว่าโมเดลเดิมผ่าน exponential gating และโครงสร้างหน่วยความจำที่ปรับแก้
• งานวิจัยนี้ช่วยจุดประกายความเป็นไปได้ของสถาปัตยกรรมแบบเวียนกลับในงานพยากรณ์อนุกรมเวลาอีกครั้ง และนำเสนอทางเลือกใหม่แทนโมเดลที่อิงกับ Transformer
• โปรเจกต์ที่มีฟังก์ชันคล้ายกัน ได้แก่ Prophet ของ Facebook และ DeepAR ของ Amazon

[GN⁺]

ความคิดเห็นจาก Hacker News

• ในช่วงไม่กี่ปีที่ผ่านมา โมเดลที่อิงกับ transformer โดดเด่นในการพยากรณ์อนุกรมเวลาระยะยาวแบบหลายตัวแปร
  • แต่ก็ยังไม่แน่ชัดว่าโดยทั่วไปแล้วดีกว่าโมเดลที่ไม่ใช่ดีปเลิร์นนิงหรือไม่
• ทำงานสร้างโมเดล nowcasting และการพยากรณ์ในด้านเศรษฐกิจ (เงินเฟ้อ, GDP เป็นต้น) และการเงิน (เช่น สภาพคล่องของตลาด)
  • เห็นด้วยกับความเห็นที่ว่าแม้โมเดล transformer จะยอดเยี่ยม แต่โมเดลตระกูล LSTM ก็ยังมีประโยชน์มาก
• สงสัยว่าเกี่ยวข้องกับโมเดลพยากรณ์อากาศของ Google ที่ใช้ AI หรือไม่
  • ให้ลิงก์ โมเดล Graphcast AI ของ Google
• เสียดายที่ลิงก์ชุดข้อมูลในงานวิจัยใช้งานไม่ได้
  • หวังว่าจะมีการแก้ไข
• มีการทำตลาดว่าเป็นเครื่องมือพยากรณ์ แต่อยากรู้ว่านำไปใช้กับการจัดประเภทเหตุการณ์ในอนุกรมเวลาไม่ได้หรือไม่
• โมเดลดีปเลิร์นนิงสำหรับอนุกรมเวลาที่ดีที่สุดถูกใช้งานภายในกองทุนเฮดจ์ฟันด์แบบไม่เปิดเผยต่อสาธารณะ
• การพยากรณ์อนุกรมเวลาทำงานได้ดีที่สุดในโดเมนที่เป็นเชิงกำหนด
  • ในบรรดาเทคนิค LLM/AI/ดีปเลิร์นนิง/แมชชีนเลิร์นนิงที่ตีพิมพ์ออกมา ไม่มีอะไรใช้ได้ผลดีกับตลาดหุ้น
  • ลองมาทุกเทคนิคแล้ว แต่ไม่ประสบความสำเร็จ
• ถ้าวิธีพยากรณ์อนุกรมเวลาของใครสักคนได้ผลจริง พวกเขาคงไม่ตีพิมพ์มันออกมา
• ตอนแรกอ่านผิดเป็น XSLT
• อดคิดไม่ได้ว่าจะมีคนเอาเครื่องมือนี้ไปทำนายหุ้นจนเสียเงินหมดตัว