Langfristige Zeitreihenprognose mit xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• In den letzten Jahren haben Transformer-basierte Modelle bei der multivariaten langfristigen Zeitreihenprognose (LTSF) bemerkenswerte Ergebnisse erzielt. Sie stehen jedoch vor Problemen wie hohem Rechenaufwand, Schwierigkeiten beim Erfassen zeitlicher Dynamiken und der Handhabung langfristiger Abhängigkeiten
• Mit dem Aufkommen von LTSF-Linear mit seiner einfachen linearen Struktur wurden sogar bessere Ergebnisse als mit Transformer-basierten Modellen erzielt, was zu einer Neubewertung des Nutzens von Transformern für die Zeitreihenprognose führte
• Als Reaktion darauf präsentiert diese Arbeit die Ergebnisse der Anwendung der jüngeren Architektur xLSTM (extended LSTM) auf LTSF. xLSTM besitzt mit exponentiellem Gating und einer modifizierten Speicherstruktur mit höherer Kapazität Potenzial für den Einsatz in LTSF
• xLSTMTime, die von uns verwendete LTSF-Architektur, übertrifft bestehende Ansätze. Der Vergleich der Leistung von xLSTMTime mit verschiedenen aktuellen Modellen auf mehreren realen Datensätzen belegt seine überlegene Prognosefähigkeit
• Unsere Ergebnisse deuten darauf hin, dass verfeinerte rekurrente Architekturen bei LTSF-Aufgaben eine wettbewerbsfähige Alternative zu Transformer-basierten Modellen bieten können und das Potenzial haben, die Landschaft der Zeitreihenprognose neu zu definieren

Zusammenfassung von GN⁺

• Diese Arbeit zeigt durch die Einführung von xLSTM starke Leistung bei der langfristigen Zeitreihenprognose und adressiert damit die Grenzen Transformer-basierter Modelle
• xLSTMTime belegt mit exponentiellem Gating und einer modifizierten Speicherstruktur seine überlegene Prognosefähigkeit gegenüber bestehenden Modellen
• Die Studie lenkt den Blick erneut auf das Potenzial rekurrenter Architekturen für die Zeitreihenprognose und präsentiert eine neue Alternative zu Transformer-basierten Modellen
• Projekte mit ähnlicher Funktionalität sind unter anderem Facebooks Prophet und Amazons DeepAR

[GN⁺]

Hacker-News-Kommentare

• In den letzten Jahren haben transformerbasierte Modelle bei der multivariaten langfristigen Zeitreihenvorhersage stark an Bedeutung gewonnen
  • Es ist jedoch nicht sicher, ob sie im Allgemeinen wirklich besser sind als Nicht-Deep-Learning-Modelle
• Ich arbeite daran, Nowcasting- und Prognosemodelle für Wirtschaft (Inflation, BIP usw.) und Finanzen (Marktliquidität usw.) zu entwickeln
  • Ich teile die Ansicht, dass Transformer-Modelle hervorragend sind, LSTM-artige Modelle aber weiterhin sehr nützlich bleiben
• Ich frage mich, ob das mit Googles wettervorhersagemodell auf Basis von KI zusammenhängt
  • Link zu Googles Graphcast-AI-Modell
• Schade, dass der Datensatz-Link im Paper nicht funktioniert
  • Hoffentlich wird das behoben
• Es wird als Prognosewerkzeug vermarktet, aber ich frage mich, ob es nicht auch für die Ereignisklassifizierung in Zeitreihen eingesetzt werden kann
• Die besten Deep-Learning-Modelle für Zeitreihen werden intern bei Hedgefonds nicht öffentlich genutzt
• Zeitreihenvorhersage funktioniert am besten in deterministischen Domänen
  • Keine der veröffentlichten LLM-/KI-/Deep-Learning-/Machine-Learning-Techniken funktioniert gut am Aktienmarkt
  • Ich habe alle Techniken ausprobiert, aber keinen Erfolg gehabt
• Wenn die Methode zur Zeitreihenvorhersage von jemandem funktioniert hätte, hätte diese Person sie nicht veröffentlicht
• Ich habe es fälschlich als XSLT gelesen
• Man wartet förmlich auf die Person, die mit diesem Tool Aktien vorhersagen will und dabei ihr ganzes Geld verliert