TimeGPT-1
(arxiv.org)- TimeGPT ist ein Foundation-Modell für Zeitreihen, das Zeitreihendaten aus verschiedenen Domänen ohne zusätzliches Training prognostiziert
- Im Vergleich zu bestehenden statistischen, Machine-Learning- und Deep-Learning-Ansätzen präsentiert es einen Ansatz, der Leistung, Effizienz und Einfachheit bei Zero-Shot-Inferenz zugleich verbessert
- Zeitreihenprognosen sind eine zentrale Grundlage in Bereichen, in denen Entscheidungen über die Zukunft nötig sind, etwa Finanzen, Gesundheitswesen, Wetter, Sozialwissenschaften, Stromnachfrage sowie Kapazitätsplanung für Server, Arbeitskräfte und Maschinen
- Im bisherigen Feld der Zeitreihenprognose gibt es nur einen schwachen praktischen Konsens über die Wirkung von Deep Learning, und es fehlte an einem allgemeinen vortrainierten Modell, das so breit anerkannt ist wie in Sprach- oder Wahrnehmungsdomänen
- Es zeigt die Möglichkeit auf, dass ein allgemeines vortrainiertes Modell den Zugang zu präzisen Prognosen verbessern sowie Zeit- und Rechenaufwand verringern kann
Die von TimeGPT vertretene Modellrichtung
- TimeGPT ist ein Foundation-Modell für Zeitreihen, das auch auf verschiedenen Datensätzen, die es während des Trainings nicht gesehen hat, Prognosen erzeugen kann
- Der Kern ist Zero-Shot-Inferenz, also Prognosen für verschiedene Domänen und Anwendungen ohne zusätzliches Training
- Ein vortrainiertes allgemeines Modell kann die Praxis der Zeitreihenprognose in Richtung besserer Zugänglichkeit und Genauigkeit verändern und zugleich Zeitaufwand und Rechenkomplexität deutlich senken
Einsatzbereiche von Zeitreihenprognosen
- Zeitreihen sind zeitlich geordnete Daten und werden in Systemen, Unternehmen und Institutionen als Basis genutzt, um künftige Zustände zu bewerten
- Anwendungsfälle gibt es in vielen Bereichen
- Verständnis von Konjunkturzyklen und Trends
- Erkennen von Konsumausgabenmustern
- Optimierung der Stromnachfrage für Stromerzeugung und Netzmanagement
- Abstimmung von Kapazitäten und Infrastruktur für Server, Arbeitskräfte und Maschinen
- Messung von Gezeiten im Meer und Verfolgung des täglichen Schlusskurses des Dow Jones
- In Finanzen, Gesundheitswesen, Wetter und Sozialwissenschaften ist das Erkennen von zeitlichen Mustern, Trends und periodischen Schwankungen wichtig für die Vorhersage künftiger Werte und für Entscheidungen
Grenzen bestehender Prognoseansätze
- Das Feld der Zeitreihenprognose hat noch keinen Konsens erreicht, der mit dem breiten Anerkennungsgrad generativer Modelle in Sprach- und Wahrnehmungsdomänen vergleichbar wäre
- Bei Prognoseaufgaben sind Praktiker in ihrer Einschätzung der Wirksamkeit von Deep Learning weiterhin geteilter Meinung
- Die bisherige Prognoseforschung erfüllt noch nicht ausreichend das Niveau, das ein wirklich allgemeines vortrainiertes Modell verspricht
Bewertungsergebnisse und Implikationen
- TimeGPT wurde im Vergleich mit bestehenden statistischen Modellen, Machine-Learning-Modellen und Deep-Learning-Modellen bewertet
- Die Bewertung zeigt, dass die Zero-Shot-Inferenz des vortrainierten TimeGPT in Bezug auf Leistung, Effizienz und Einfachheit überlegen ist
- Dies dient als Beleg dafür, dass sich Erkenntnisse aus Fortschritten in anderen KI-Bereichen auch auf die Zeitreihenanalyse anwenden lassen
- Große Zeitreihenmodelle können eine Chance sein, den Zugang zu präziseren Prognosen zu verbessern und Unsicherheit zu verringern
1 Kommentare
Meinungen auf Hacker News
Ich habe ziemlich lange mit Zeitreihenprognosen gearbeitet, aber den Nutzen solcher auf Zeitreihen spezialisierten Deep-Learning-Modelle habe ich bisher nicht gefunden.
Bei sehr hochdimensionalen Daten ist Deep Learning überlegen, etwa wie bei der Modellierung zur Betrugserkennung in einem Unternehmen für Kreditkarten-Zahlungsabwicklung. Aber es gab kaum Vorteile, ein separates „Zeitreihen“-Modell zu verwenden, das Zeit anders behandelt als andere Merkmale.
Ich habe N-BEATS, N-HiTS und fast alle RNN-Varianten ausprobiert, die vor Transformern populär waren und jeweils State-of-the-Art-Leistung beanspruchten, aber keines davon konnte ein MLP schlagen, dem verzögerte Werte als Features mitgegeben wurden. Wenn ich mit anderen Leuten aus dem Prognosebereich spreche, berichten sie von denselben Ergebnissen.
Bei Daten mittlerer Dimensionalität sind LightGBM/XGBoost überwältigend gut und liefern meist die gleiche oder bessere Leistung als irgendein Deep-Learning-Modell, brauchen dabei aber viel weniger Feintuning und extrem wenig Rechenzeit.
Bei niedrigdimensionalen Daten gibt es nicht genug Daten, daher muss die Struktur mit menschlicher Intuition festgelegt werden; deshalb sind (V)ARIMA/ETS/Faktormodelle weiterhin am stärksten.
Deshalb bin ich sehr skeptisch gegenüber der Behauptung eines „Zeitreihen“-Modells, das allgemein hohe Leistung bringt. Anders als bei Sprachmodellen ist der Umfang, in dem ein Modell durch Training auf Zeitreihen die grundlegende Struktur der Funktionsweise der Welt versteht, begrenzt; entsprechend muss auch seine Generalisierungsfähigkeit sehr begrenzt sein.
Und ich frage mich auch, wie man Modelle wie XGBoost bei mehrstufigen Prognosen einsetzt, bei denen mehrere Zeitpunkte in die Zukunft vorhergesagt werden müssen.
Wie schneidet der Ansatz, verzögerte Features in ein MLP zu geben, im Vergleich dazu ab, bei der Attention eines Transformers längere Sequenzlängen zu verwenden? Ich frage mich, ob man auch gute Ergebnisse bekommt, wenn man einem Feedforward-Neuronalen Netz verzögerte Werte aus 128 Zeitpunkten gibt.
Zu diesem Schluss bin ich auch gekommen, als ich mit verschiedenen Machine-Learning-Algorithmen experimentiert und den intelligenten Trading-Bot https://github.com/asavinov/intelligent-trading-bot gebaut habe.
Allerdings gibt es auch Fälle, in denen Transformer große Vorteile bringen können. Sie können nützlich sein, wenn numerische Prognosen mit diskreter Ereignisanalyse kombiniert werden und die Reihenfolge der Ereignisse wichtig ist, oder wenn bestimmte Muster wichtig sind, nach denen man in der technischen Analyse sucht. In solchen Fällen braucht man deutlich mehr Daten.
Es ist jedenfalls sicher, dass die Chart-Analysten in Scharen auftauchen werden, um GPT-basierte Marktprognosen zu verkaufen.
Ich denke, ein Zeitreihenmodell mit einem ausreichend großen Trainingskorpus könnte typische Besonderheiten wie Saisonalität, Schocks und Ausreißer ziemlich gut behandeln.
Was die bisherige Lage angeht, stimme ich völlig zu, aber ich freue mich darauf, dass Praktiker Modelle wie das hier vorgestellte testen. Es könnte tatsächlich funktionieren.
Nein, Transformer sind keine Allzwecklösung.
Auch wenn Transformer wie hochmoderne universelle Funktionsapproximatoren wirken, muss man verstehen, warum sie bei Sprache und Vision so gut funktionieren.
Transformer lassen sich sehr gut parallelisieren und lernen ausgefeilte Zwischenrepräsentationen. Im Raum beginnen sich semantische Konzepte sauber zu trennen, Trennzeichen werden ganz natürlich erkannt, und sie lernen auch, mit Elementen wie Linien, Kurven, Farben oder Hundeohren umzugehen. Die letzte Schicht kombiniert diese ausgefeilten Konzepte und lernt daraus High-Level-Konzepte wie Hund/Katze/Blog.
Aber Transformer – und allgemeiner Deep-Learning-Methoden insgesamt – funktionieren bei Zeitreihendaten noch nicht gut, weil sie daraus bislang keine neuen Zwischenrepräsentationen extrahieren konnten.
Schon oberflächlich stellt sich die Frage: Wie soll man mit dem „Token-Fenster“ umgehen? Vereinfacht gesagt bedeutet Zeitreihenmodellierung, unter der Bedingung bestimmter Beobachtungen der Welt wiederkehrende Muster mit sehr unterschiedlichen Lebenszyklen zu identifizieren. Um das Problem überhaupt anzugehen, muss ein Modell gleichzeitig und natürlich über Jahres-, Tages- und Sekundenebenen hinweg schließen können. Ironischerweise könnte das Streaming-LLM-Paper des MIT von letzter Woche hier vielleicht helfen.
Zweitens wirken die Verbesserungen bestenfalls marginal. Wenn man eine massive Architekturänderung vorschlägt und dabei Beobachtbarkeit und Erklärbarkeit aufgibt, braucht man wirklich überwältigende Ergebnisse.
Tatsächlich wäre es dumm, wenn jemand, der eine bahnbrechende Methode für Zeitreihenprognosen gefunden hat, anderen davon erzählt, bevor er die erste Milliarde Dollar am Markt verdient hat. Bei einer Milliarde Dollar aufzuhören, hielte ich ebenfalls für dumm. Zeitreihenprognosen sind, sofern lösbar, das finanziell am stärksten belohnte Problem. Wenn etwas als Paper veröffentlicht wurde, würde ich schon deshalb erwarten, dass es enttäuschend ist.
Man iteriert über alle monotonen universellen Turingmaschinen, deren Eingabeband aus der Verkettung aller möglichen gesammelten Daten und der interessierenden Zeitreihe besteht. Programme, die zu lange brauchen, überspringt man; von den übrigen behält man nur diejenigen, die die Eingabesequenz reproduzieren. Dann bildet man eine Wahrscheinlichkeitsverteilung über das nächste Ausgabebit, gewichtet mit 2^-Programmgröße.
Was soll daran so schwierig sein?
In der High-Frequency-Trading-Branche wird Deep Learning schon seit ziemlich langer Zeit erfolgreich auf Marktdaten angewendet. Alles ist dabei: von Packet Captures und Ticks bis hin zu Candles.
Warum sollte ein Team aus 50 Quants/Software Engineers/Tradern offenlegen, wie es mehr als eine Milliarde Dollar Gewinn pro Jahr erzielt?
Bei klassischer Zeitreihenprognose sind diese Eigenschaften meist Dinge wie „periodische Muster setzen sich fort“ oder „Wachstumsmuster setzen sich fort“.
Ein auf Sprachdaten trainierter Transformer lernt im Grunde Zeitreihenprognose für Sequenzen, in denen sehr viele komplexe Eigenschaften auftreten, die beeinflussen, was als Nächstes kommt. Sprachdaten sind so komplex und vielfältig, dass man In-Context Learning braucht, um Text fortzusetzen: die Fähigkeit, in jeder Art von Symbolzeichenkette gemeinsame Eigenschaften zu finden und sie für die Fortsetzung zu nutzen.
In Sprachdaten können auch riesige Excel-Tabellen mit sehr unterschiedlichen Daten wie Aktienkursen oder Wetteraufzeichnungen enthalten sein. Daher ist es plausibel, dass In-Context Learning sehr mächtig wird und sogar Zero-Shot-Fortsetzungen von Zeitreihen leisten kann.
Darüber hinaus denke ich, dass Sprachdaten und Transformer-Architekturen dank In-Context Learning das Potenzial haben, Verhalten zu erzeugen, das echter allgemeiner Intelligenz ähnelt: allgemeine Mustererkennung. Sprachdaten sind komplex genug, dass stochastischer Gradientenabstieg zwangsläufig zu allgemeiner Mustererkennung und Fortsetzung führen kann.
Wir stehen noch ganz am Anfang und konzentrieren uns derzeit auf Fine-Tuning, das In-Context Learning kaputtmacht. Aber bald werden wir riesige Transformer auf allen Modalitäten und allen auffindbaren Symbolzeichenketten trainieren.
Allerdings sieht Video letztlich wie Vision mit gestapelten Schichten aus. Warum sollte Vision über Frames hinweg nicht ähnlich funktionieren wie Vision? Die derzeitige Antwort lautet, dass es nicht funktioniert; aber ich frage mich, ob neuronale Netze das nicht können oder ob wir nur noch nicht die richtige Modellierungsweise gefunden haben.
Die Passage „Beliebte Modelle wie Prophet [Taylor and Letham, 2018] und ARIMA wurden wegen übermäßiger Rechenanforderungen und langer Trainingszeiten von der Analyse ausgeschlossen“ verstehe ich nicht.
Ich frage mich, ob jemand, der viel Zeitreihenprognose gemacht hat, das genauer erklären kann.
ARIMA habe ich schon für einfache Aufgaben verwendet. Ich verstehe nicht, warum Training und Ausführung teurer sein sollten als bei einem Transformer-Modell, und selbst wenn das stimmt, wäre ein Vergleich von Ressourcen und Zeit nützlich gewesen, weil ARIMA so weit verbreitet ist.
Andernfalls klingt es wie Sales-Sprech und wirkt, als würden schwer verständliche Abkürzungen eingeworfen, um Marketing nach dem Motto „Ich bin Experte, abc xyz Branchenakronym“ zu machen.
Um auf die berechtigte Sorge einzugehen: Es gibt mehrere Gründe für die hohen Rechenkosten. Erstens sind ARIMA und andere „statistische“ Methoden lokale Modelle, d. h. für jede Zeitreihe muss jeweils ein eigenes Modell trainiert werden. Machine-Learning- und Deep-Learning-Modelle sind dagegen globale Modelle, bei denen für alle Zeitreihen „ein“ Modell verwendet wird.
Zweitens schneidet ARIMA bei vielfältigen Zeitreihen-Sammlungen wie in diesem Experiment in der Regel nicht gut ab. AutoARIMA ist die bessere Wahl, aber angesichts der Anzahl und Länge der Zeitreihen wird die Trainingszeit deutlich länger. Außerdem neigt AutoARIMA dazu, bei langen Zeitreihen sehr langsam zu werden.
Kurz gesagt: ARIMA auf die 500.000 Zeitreihen des Benchmarks anzuwenden hätte buchstäblich Wochen gedauert und wäre sehr teuer gewesen.
Deshalb haben wir mehrere gut funktionierende lokale „statistische“ Modelle wie Theta und CES einbezogen. Für alle Baselines haben wir Implementierungen aus unserem Open-Source-Ökosystem verwendet, darunter StatsForecast, MLForecast und Neuralforecast. Wir werden bald eine reproduzierbare Experiment-Suite auf einer kleineren Teilmenge veröffentlichen.
Wenn man eine Prognosetechnik aus den 1970er-Jahren mit der Begründung ausschließt, sie habe „lange Trainingszeiten“, fällt es schwer, dieses Paper ernst zu nehmen.
Es gibt ein paar Ausreden, ARIMA auszuschließen. Damit es in der Praxis richtig funktioniert, muss man nämlich wichtiges Vorwissen über die Zeitreihe einbringen, etwa Periodizität oder Korrekturen für Wendepunkte.
Aber „übermäßiger Rechenaufwand und lange Trainingszeit“ trifft nicht zu.
Dieser Teil wirkt etwas aufgeblasen, aber der Rest des Papers, insbesondere die Zero-Shot-Fähigkeit, ist sehr interessant, falls sie sich bestätigt. Ich hoffe, es wird zugänglicher als eine „Kontaktieren Sie uns“-API, sodass man es selbst mit ARIMA und anderen vergleichen kann.
Es hat mehrere Mängel und Einschränkungen, aber Recheneffizienz ist kein Problem.
Dieses Paper ist inhaltlich extrem dünn. Es gibt praktisch kaum Informationen zu den wichtigen Dingen und nur vage Andeutungen zu Architektur und Daten.
Stattdessen wird Platz für Dinge wie die MAE-Formel oder Diagramme zu den Konzepten von Training und Inferenz verwendet. Überall Warnsignale.
Max von Nixtla hier. Ich hatte nicht erwartet, dass das so viel Aufmerksamkeit bekommt, und freue mich sowohl über die positiven als auch über die kritischen Reaktionen.
Ich möchte ein paar wichtige Punkte klarstellen.
Das Hauptziel der ersten Version dieses Papers ist es, TimeGPT-1 vorzustellen und vorläufige Ergebnisse groß angelegter Experimente zu zeigen, um zu belegen, dass Transfer Learning in dieser Größenordnung auch für Zeitreihen tatsächlich möglich ist. Wie im Paper erwähnt, glauben wir fest daran, dass vortrainierte Modelle für viele Anwendungen eine sehr kosteneffiziente Lösung im Hinblick auf Rechenressourcen sein können. Außerdem ist diese Version ein Preprint. Wir arbeiten daran, eine reproduzierbare Experiment-Suite für einen Teil der Daten zu veröffentlichen, also habt bitte etwas Geduld.
Nixtlas frühere Arbeit war vollständig Open Source, und wir sehen TimeGPT als ein praktikables kommerzielles Produkt, das Praktikern sofort Prognosen und Anomalieerkennung bereitstellen kann. Einige interessante Details haben wir ausgelassen, weil sie einen Wettbewerbsvorteil darstellen, der dazu dient, das Unternehmen wachsen zu lassen, bessere Lösungen anzubieten und das Ökosystem weiter aufzubauen.
Wie andere in diesem Thread bereits gesagt haben, arbeiten wir daran, möglichst viele Menschen in eine kostenlose Testphase aufzunehmen, damit mehr unabhängige Praktiker die Genauigkeit in ihren eigenen Anwendungsfällen validieren können. Ihr könnt euch auch die ersten Eindrücke des Prophet-Entwicklers ansehen https://x.com/seanjtaylor/status/1694745912776749296?s=20, die Reaktion des GluonTS-Entwicklers https://www.linkedin.com/posts/tim-januschowski_foundational... sowie frühe Tests der H20-Leute https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Ich hoffe, dass bald weitere unabhängige Benchmarks erscheinen.
Genau so etwas ist gemeint, wenn in der Wissenschaft gewarnt wird: „Peer Review ist wichtig“ und „Lies keine arxiv-Preprints, wenn du kein Experte auf dem Gebiet bist“.
Der Satz „Uncertainty is an inherent aspect of life, a constant that humans have tirelessly grappled with and sought to understand“ ist schon etwas fragwürdig.
Es ist gut, wenn man etwas ernsthaft angeht, aber dann sollte man wenigstens poetischer sein als eine BBC-Dokumentation.
Scheint das relevant zu sein?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Das sieht aus wie Marketingmaterial für das Produkt https://www.nixtla.io/.
Ich wäre gern im Unrecht, aber es scheint nur ungefähr 20–30 % besser zu sein als das Seasonal-Naive-Modell. Damit wirkt es nicht besonders nützlich.
Dass es Zero-Shot ist, ist zwar definitiv beeindruckend, aber in der Praxis scheint man damit nicht allzu viel anfangen zu können.