Analyse von Finanzberichten mit LLMs

• Untersucht wird, ob Large Language Models (LLMs) die Analyse von Finanzberichten ähnlich erfolgreich wie professionelle menschliche Analysten durchführen können
• GPT-4 wurden standardisierte und anonymisierte Finanzberichte bereitgestellt, und das Modell wurde angewiesen, die Richtung künftiger Gewinne vorherzusagen
• Wichtigste Erkenntnisse
  • Vorhersageleistung: Das LLM übertrifft Finanzanalysten bei der Vorhersage von Gewinnveränderungen, selbst ohne narrative oder branchenspezifische Informationen
  • Relativer Vorteil: In Situationen, in denen Analysten Schwierigkeiten haben, zeigt das LLM einen relativen Vorteil
  • Vorhersagegenauigkeit: Die Vorhersagegenauigkeit des LLMs ist der Leistung moderner, eng trainierter ML-Modelle ebenbürtig
  • Narrative Einsichten: Die Vorhersagen des LLMs stammen nicht aus auswendig gelerntem Trainingswissen, sondern erzeugen nützliche narrative Einsichten zur künftigen Unternehmensentwicklung
  • Handelsstrategie: Eine auf den Vorhersagen von GPT basierende Handelsstrategie liefert eine höhere Sharpe Ratio und höheres Alpha als andere modellbasierte Strategien

Meinung von GN⁺

• Potenzial von LLMs: Dass Large Language Models menschliche Analysten in der Finanzanalyse übertreffen können, könnte große Veränderungen in der Finanzbranche auslösen. Das deutet auf das Entwicklungspotenzial automatisierter Analysewerkzeuge hin.
• Transparenz des Modells: Dass LLMs narrative Einsichten liefern, bedeutet, dass der Vorhersageprozess des Modells transparenter und leichter verständlich sein könnte. Das kann Finanzanalysten dabei helfen, dem Modell zu vertrauen und es zu nutzen.
• Nutzen von Handelsstrategien: Dass GPT-basierte Handelsstrategien hohe Ergebnisse zeigen, kann für Investoren sehr attraktiv sein. Allerdings ist das keine Garantie dafür, dass die Vorhersagen des Modells immer korrekt sind, sodass ein vorsichtiger Ansatz nötig ist.
• Aspekte bei der Einführung der Technologie: Die Qualität der Daten und der Trainingsprozess des Modells sind wichtig. Außerdem sollte fortlaufend überprüft werden, wie gut die Vorhersagen des Modells mit den tatsächlichen Marktbedingungen übereinstimmen.
• Verwandte Technologien und Projekte: Andere Projekte mit ähnlichen Funktionen in der Finanzanalyse sind AlphaSense, Kensho und die auf GPT-3 basierenden Analysewerkzeuge von Bloomberg. Ein Vergleich mit diesen Werkzeugen kann helfen, die Stärken und Schwächen von LLMs klarer zu verstehen.

[GN⁺]

Hacker-News-Kommentare

• Auf Seite 40, Abbildung 3, zeigt der Vergleich eines dreischichtigen neuronalen Netzes mit den 59 Finanzprognosevariablen von Ou und Penman (1989) mit GPT (CoT), dass GPT keine statistisch signifikant bessere Leistung zeigt.
• Märkte sind wichtig, aber Spekulation ist nicht der Zweck von Märkten. Wenn man Geld verdienen will, ist es besser, eine Ausbildung zu absolvieren und ein gutes Gehalt zu beziehen. Spekulation birgt aus der Perspektive der Gier ein hohes Risiko des Ruins. Das Finanzsystem ist ein Nullsummenspiel, und internationale Finanzen sind mit vielen Risiken verbunden. Man sollte sich um seine Freunde kümmern, das eigene Glück maximieren und ehrlich sowie ethisch handeln.
• Der größte Wandel könnte darin liegen, normalen Bürgern zu ermöglichen, sinnvolle Fragen zu den Finanzen lokaler Behörden zu stellen. Zum Beispiel erstellen die zahlreichen Kommunen und gewählten Stellen in Cook County, Illinois, monatliche Finanzberichte, aber es fehlt an bürgerschaftlicher Kontrolle.
• Die Geschichte der Forschung: Vergleiche von Aussagen des Managements, Sentiment-Analysen durch Zählen positiver/negativer Wörter sowie der Aufbau von Echtzeit-Sentimentmodellen mit Twitter und Nachrichtenartikeln. Es wurde ein Sentimentmodell mit einem LLM (GPT2) aufgebaut, aber da das Management darauf trainiert ist, nur positive Wörter zu verwenden, ist die Verlässlichkeit gering.
• Wenn standardisierte LLM-Modelle verwendet werden, könnten Finanzberichte manipuliert werden, um die Ergebnisse des LLM günstiger ausfallen zu lassen.
• Im Forschungsdesign werden keine Textinformationen bereitgestellt. Das Hauptinteresse besteht darin, die Fähigkeit des LLM zu verstehen, reine Finanzkennzahlen zu analysieren und zu synthetisieren. Das ist relevant, weil ein LLM keine mathematischen Berechnungen durchführt, sondern durch Vorhersage des nächsten Tokens arbeitet.
• An diejenigen, die LLM-Wrapper verkaufen wollen: Dieser Bereich ist sehr schwierig. Man wird auf Probleme mit Daten, Verteilungen und geringer Nachfrage stoßen. Fonds, die das tatsächlich nutzen würden, tun das bereits.
• Es wird versucht, die Quelle der Prognosefähigkeit von GPT zu verstehen. Das Modell wird angewiesen, die Rolle eines Finanzanalysten einzunehmen, wichtige Finanzkennzahlen zu berechnen und ökonomische Interpretationen zu liefern. Allerdings arbeitet ein LLM nicht durch Berechnung, sondern durch Vorhersage des nächsten Tokens.
• Ich erinnere mich an die von Greg Diamos bei Lamini vorgestellte Analyse von Earnings Calls. Relevante Links finden sich auf HuggingFace und GitHub.
• Ein Vergleich mit Modellen mit größerem Kontextfenster (Gemini, Claude Opus) wäre interessant gewesen. Andernfalls wäre es besser, den Titel in „Analyse von Finanzberichten mit GPT-4“ zu ändern.