Das Crystal-Ball-Trading-Spiel

• Crystal Ball Challenge ist ein Experiment, bei dem Teilnehmer, die die Titelseite des WSJ einen Tag im Voraus sahen, mit dem S&P 500 und 30-jährigen US-Staatsanleihen handelten. Es zeigt: Selbst wenn man zukünftige Nachrichten kennt, ist es schwer, daraus Gewinn zu machen.
• In einem persönlich beaufsichtigten Experiment im November 2023 starteten 118 junge Teilnehmer mit Finanzausbildung mit 50 $, doch die durchschnittliche Auszahlung lag bei 51,62 $ und war statistisch nicht von der Gewinnschwelle zu unterscheiden.
• Die Trefferquote bei der Richtung lag insgesamt bei 51,5 %; Anleiheprognosen waren besser als Aktienprognosen, aber die Teilnehmer setzten nicht stärker auf die Assets, bei denen sie häufiger richtig lagen.
• An rund 30 % der Handelstage wurde ein Hebel von mehr als 20x eingesetzt, 4 % lagen bei über 60x. Durch übermäßige Risikobereitschaft machte etwa die Hälfte Verluste, und jeder Sechste ging pleite.
• Die 5 eingeladenen erfahrenen Makro-Trader erzielten alle Gewinne und steigerten ihr durchschnittliches Vermögen um 130 %. Der Wert zukünftiger Informationen hängt also stark von der Fähigkeit ab, die Positionsgröße zu bestimmen.

---

Experimentdesign: Handeln mit der WSJ-Titelseite von morgen

• Die Crystal Ball Challenge überträgt das Motiv des Sportergebnis-Almanachs aus dem Film Back to the Future II von 1989 auf ein Finanzmarktexperiment.
• Im November 2023 nahmen 118 junge Erwachsene mit Finanzausbildung in einer persönlich beaufsichtigten Umgebung teil.
• Jeder Teilnehmer erhielt 50 $ und konnte Positionen auf den S&P-500-Index und Futures auf 30-jährige US-Staatsanleihen eingehen.
• Die Informationsbedingungen waren wie folgt:
  • Die Titelseite des WSJ wurde einen Tag im Voraus bereitgestellt.
  • Aktien- und Anleihepreisdaten wurden geschwärzt.
  • Die Handelstage umfassten je einen Tag pro Jahr von 2008 bis 2022, insgesamt 15 Tage.
  • An jedem Datum war je ein Trade in Aktien und Anleihen möglich.
• Eine Webversion der Crystal Ball Trading Challenge ist ebenfalls verfügbar, jedoch ohne Geldprämie.
• Auf der Website hatten zum Zeitpunkt der Erstellung mehr als 1.500 Personen das Spiel gespielt.

Ergebnisse des beaufsichtigten Experiments: Im Durchschnitt fast Break-even

• Die durchschnittliche Auszahlung der Teilnehmer lag bei 51,62 $, nur 3,2 % über dem Startbetrag.
• Dieses Ergebnis ist statistisch nicht von der Gewinnschwelle zu unterscheiden.
• Die Verteilung der Gewinne war anfälliger, als der Durchschnitt vermuten lässt:
  • etwa 45 % machten Verluste
  • 16 % gingen pleite
  • etwa 20 % erreichten die maximale Auszahlung von 100 $
• Die Teilnehmer führten etwa 2.067 Trades aus, im Schnitt rund 18 Trades pro Person.
• Die maximal mögliche Zahl lag bei 30 Trades pro Person; Gründe für die geringere tatsächliche Handelszahl waren unter anderem Bankrott und das Auslassen von Handelsgelegenheiten.

Das größere Problem war nicht die Richtung, sondern die Positionsgröße

• Die Teilnehmer lagen bei der Richtung von Aktien und Anleihen insgesamt zu 51,5 % richtig.
  • Trefferquote bei Aktien-Trades: 48,2 %
  • Trefferquote bei Anleihe-Trades: 56,2 %
• Obwohl die Trefferquote bei Anleihen höher war, wurde bei Aktien 40 % häufiger gehandelt als bei Anleihen.
• Die Einsatzgröße war kaum mit der Trefferwahrscheinlichkeit verknüpft.
  • Bei 8 von 30 Handelsgelegenheiten lag die Teilnehmergruppe ungefähr im Verhältnis 2:1 auf der richtigen Richtung, setzte dann aber nicht größer.
  • Bei Aktien-Trades betrug die Korrelation zwischen Hebel und Trefferquote 0.
  • Bei Anleihe-Trades lag sie bei -0,1.
• Der durchschnittliche Hebel betrug bei Aktien 13x und bei Anleihen 10x.
  • Betrachtet man nur Trades mit mehr als 5x Hebel, lagen sie bei Aktien bei 22x und bei Anleihen bei 20x.
• An rund 30 % der Handelstage wurde ein Hebel von mehr als 20x eingesetzt.
  • 4 % lagen bei 60x oder mehr.
  • In 17 Fällen, also etwas mehr als 1 % der Handelstage, wurde ein 100x-Hebel genutzt.
  • Ein 100x-Hebel konnte die Wahrscheinlichkeit, das gesamte Kapital zu verlieren, auf nahezu 50 % bringen.

Schon einfache Größensteuerung hätte Verluste reduzieren können

• Hätten die Teilnehmer bei jedem Trade einen konstanten und vernünftigen Hebel eingesetzt, hätten sich die Ergebnisse verbessern können.
• Unter den Experimentbedingungen wären plausible Schätzungen der täglichen Volatilität etwa folgende gewesen:
  • Aktien: 1,5 % bis 2 %
  • Anleihen: 1 % bis 1,5 %
• Unter der Annahme einer Trefferwahrscheinlichkeit von 55 % deutet das Kelly-Kriterium grob auf folgende Größen hin:
  • Aktien: 6x
  • Anleihen: 8x
• Hätten alle Teilnehmer mit diesen Größen gehandelt, hätte die durchschnittliche Rendite rechnerisch 10 % betragen.
• Auch die Ergebnisstreuung wäre rechnerisch um etwa 45 % gesunken.
  • Im tatsächlichen Experiment verloren etwa 28 % mehr als 50 % ihres Einsatzes.
  • Bei einer Größensteuerung von 6x bzw. 8x hätten 4 % mehr als 50 % verloren.
  • Personen mit mehr als 75 % Verlust oder Bankrott hätte es rechnerisch nicht gegeben.

Der Unterschied, den Regeln zur Nachrichteninterpretation hätten machen können

• Hätten die Teilnehmer die makroökonomischen Signale aus den Frontpage-Artikeln anhand einfacher Regeln interpretiert, hätten sie höhere Trefferquoten erzielen können.
• Bei Anleihen hätte die Regel gelautet, Anleihen zu shorten, wenn Signale für eine starke Wirtschaft, hohe Inflation, hohe Energiepreise, einen starken Euro oder eine weniger lockere Fed sichtbar waren.
• Bei Aktien hätte die Regel gelautet, Aktien long zu gehen, wenn Signale für eine starke Wirtschaft, niedrige Inflation, hohe Energiepreise, einen starken Euro oder eine lockerere Fed sichtbar waren.
• Bei Anwendung solcher Regeln hätten die Trefferquoten wie folgt ausgesehen:
  • Aktien: 58 %
  • Anleihen: 64 %
• Dieser Ansatz hätte rechnerisch eine durchschnittliche Rendite von 6,1 % pro Handelstag und ein Wachstum des Kapitals auf das 2,4-Fache erzielt.
• Wenn es keine relevanten Nachrichten gab oder die Zahl der Signale auf beiden Seiten gleich war, wäre es vernünftig gewesen, nicht zu handeln.

Ergebnisse der erfahrenen Makro-Trader

• Die 5 eingeladenen erfahrenen Makro-Trader schlossen alle mit Gewinn ab.
• Es handelte sich um eine stark selektierte Gruppe mit folgenden Hintergründen:
  • Trading-Leiter bei einer der fünf größten US-Banken
  • Gründer eines Top-10-Makro-Hedgefonds
  • Senior Trader bei einem Top-10-Makrofonds
  • ehemaliger Senior-Trader für Staatsanleihen bei einem der drei größten US-Primary-Dealer
  • ehemaliger Senior Trader bei Jane Street
• Im Durchschnitt steigerten sie ihr Startvermögen um 130 %, die Medianrendite lag bei 60 %.
• Bei rund einem Drittel der Handelsgelegenheiten setzten sie gar nicht; an Tagen, an denen sie von der Marktwirkung der Nachrichten überzeugt waren, setzten sie groß.
• Ihre Trefferquote bei der Richtung lag bei 63 % und damit über den 51,5 % der 118 Teilnehmer.
  • Trefferquote bei Anleihen: 71 %
  • Trefferquote bei Aktien: 56 %
• Der Ergebnisunterschied entstand nicht nur durch bessere Richtungsprognosen, sondern zu einem großen Teil durch rationalere Positionsgrößenbestimmung.

Webspieler und Extremwerte durch wiederholtes Spielen

• Die Ergebnisse der rund 1.500 Personen, die zum Spaß im Web spielten, waren schlechter als die der Teilnehmer im beaufsichtigten Experiment.
• Das Medianergebnis der Webspieler lag bei einem Verlust von etwa 30 % des Anfangskapitals.
• Nur 40 % von ihnen endeten im Gewinn, 36 % gingen pleite.
• 6 Personen spielten wiederholt, sahen sich dadurch für jedes Datum die Ergebnisse von Aktien und Anleihen an und erzielten anschließend eine perfekte Punktzahl.
• Sie setzten bei jedem Trade mit maximaler Größe auf die richtige Richtung und erhöhten ihr Anfangskapital auf das 70.575-Fache.

Berechnung des wirtschaftlichen Werts der Crystal Ball

• Berechnet wurde der Wert einer Crystal Ball, die die WSJ-Titelseite einen Tag im Voraus für 15 hochvolatile Handelstage bereitstellt.
• Das durchschnittliche Verhältnis von erwarteter Rendite zu Risiko wurde mit 0,2 angesetzt; dies entspreche einer Trefferquote von 60 % bei der Marktrichtung.
• Es wurde angenommen, dass ein Investor mit üblicher Risikoaversion bei einem Ergebnis mit 1 Standardabweichung 10 % seines Kapitals ins Risiko stellt.
• Daraus ergibt sich pro Trade eine erwartete Rendite von 2 % und eine risikoadjustierte Rendite von rund 1 %.
• Wenn man annimmt, dass die Crystal Ball in 75 % der Fälle nützliche Nachrichten liefert, wird das sicherheitsäquivalente Vermögen nach 24 Trades zum 1,27-Fachen.
• In dieser Berechnung liegt der maximal zahlbare Preis für die Crystal Ball bei 21 % des Vermögens.
• Die Sharpe Ratio eines Trades, bei dem man einmal pro Jahr die Zeitung eines Tages im Voraus erhält, liegt bei etwa 0,2 bis 0,3 und damit unter dem Niveau, das die meisten für ein einjähriges Aktienmarktinvestment annehmen.

Grenzen und Vorbehalte

• Das Startkapital von 50 $ ist eine relativ kleine Belohnung; die Teilnehmer könnten sich anders verhalten, wenn sie mit ihrem gesamten Vermögen handeln würden.
• Die Ergebnisse hätten besser ausfallen können, wenn sie unternehmensspezifische Informationen im Voraus erhalten und einzelne Aktien handeln könnten.
• Einige Teilnehmer sagten, die Information wäre nützlicher gewesen, wenn sie den Kontext der Titelseitennachrichten gekannt hätten, insbesondere was den Markt zu jener Zeit vor allem beschäftigte.
• Der im Spiel erlaubte maximale Hebel ist höher als das Niveau, das die meisten Investoren über Futures erreichen können.
• Out-of-the-money-Optionen könnten eine Alternative sein, sind aber deutlich teurer.
• Das Experiment ging davon aus, dass Positionen bis zum Schlusskurs des nächsten Tages gehalten werden können; in der Realität könnten Intraday-Bewegungen das Kapital vorher bereits auslöschen.
• Für reale Investoren ist es schwierig, ihr gesamtes Vermögen einem unbegrenzten Verlustpotenzial auszusetzen; Möglichkeiten zur Verlustbegrenzung sind unter anderem:
  • Handel über eine Struktur mit beschränkter Haftung, sodass Verluste auf das eingesetzte Kapital begrenzt sind
  • Kauf kurzfristiger Out-of-the-money-Optionen, um den maximalen Verlust eines gehebelten Trades zu begrenzen
• Eine Struktur mit beschränkter Haftung kann es erschweren, den gewünschten Hebel zu erreichen; bei der Optionsvariante fallen Optionskosten an.

Fazit: Wichtiger als Zukunftsinformationen ist Entscheiden unter Unsicherheit

• Nassim Nicholas Talebs These, „wenn man einem Investor die Nachrichten des nächsten Tages 24 Stunden früher gibt, geht er innerhalb eines Jahres pleite“, entsprach nicht exakt den Experimentbedingungen.
• Das Experiment stellte nur die Titelseiten von 15 Tagen bereit, und die Teilnehmer trugen im Spiel nur ein finanzielles Risiko von maximal etwa 100 $.
• Dennoch zeigen die Ergebnisse deutlich in die Richtung, dass zukünftige Nachrichten allein nicht ausreichen.
• Die Bemühungen der Finanzbranche, eigene Crystal Balls zu entwickeln, sollten berücksichtigen, dass sich ihr Wert ohne rationale Positionsgrößenbestimmung nur schwer realisieren lässt.
• Die Ergebnisse der 118 Teilnehmer mit Finanzausbildung zeigen, wie wichtig Ausbildung in Entscheidungen unter Unsicherheit und Positionsgrößenbestimmung für junge Aspiranten in der Finanzbranche ist.
• Dass alle 5 erfahrenen Trader Gewinne erzielten, deutet darauf hin, dass es auch beim diskretionären Investieren vermittelbare Fähigkeiten gibt.

[GN⁺]

Meinungen auf Hacker News

• Was hier sofort auffällt, sind zwei Dinge: a) Es gibt fast keinen Zeithorizont, sodass es praktisch eher kurzfristigem Trading ähnelt.
  Nur zu wissen, was passiert, reicht nicht; alle anderen Teilnehmer müssen innerhalb kurzer Zeit „richtig handeln“, und wie der Artikel sagt, passiert das nicht oft.
  b) Das WSJ ist keine so gute Nachrichtenquelle mehr wie früher, was das Spiel schwieriger macht. Wenn gelegentlich ein großes Ereignis passiert, können Nachrichten vom Vortag allerdings hilfreich sein. Zum Beispiel vor dem 11. September Airline-Aktien leerzuverkaufen.

  • Dass „das WSJ keine so gute Nachrichtenquelle mehr ist wie früher“, finde ich schwer zu akzeptieren. Fasst die Titelseite des WSJ die Wirtschaftsnachrichten des Tages nicht ziemlich gut zusammen?
  • Ich bin nicht überzeugt, dass es besonders interessant ist, auf bestimmte kurzfristige Ereignisse zu reagieren.
    Es mag Sonderfälle geben, in denen „das wird den Aktienmarkt wirklich fallen lassen“ ziemlich vorhersagbar ist, aber interessanter sind langfristige Trends, die sich über mehr als zehn Jahre hinziehen.
  • Daytrading, so wie ich es verstehe, besteht hauptsächlich darin, in Liniendiagrammen plausibel wirkende Muster zu finden und ihnen Bedeutung zuzuschreiben.
    Außerdem ist es der Versuch, mit öffentlichen Informationen zu handeln, die bereits von Hochfrequenzhändlern und 3.000 hochbezahlten professionellen Tradern bei Goldman Sachs in die Kurse eingepreist wurden.
  • Im Blogbeitrag stand meiner Erinnerung nach, dass zufällig Artikel der Washington Post aus den letzten 15 Jahren ausgewählt wurden.
    Je nachdem, ab wann man meint, dass diese Zeitung schlechter geworden ist, könnte man in dem Spiel die Tage nach diesem Datum überspringen und so deine Intuition b) überprüfen.
  • Der 11. September ist ein gutes Beispiel. Selbst wenn man einen Tag vorher gewusst hätte, dass es passieren würde, hätte es in diesem Experiment keinen Vorteil gebracht. Denn an diesem Tag war der Markt nicht geöffnet.

• Für die meisten Menschen besteht der Trick darin, absolut nicht zu handeln, bis man eine wirklich große Erkenntnis hat.
  Bis dahin ist man besser im S&P 500 aufgehoben, und man sollte kein Data Mining betreiben.
  Gute Schlagzeilen, mit denen sich handeln lässt, sind selten. Es könnten Katastrophen, Wahlsiege oder Zinsänderungen sein.
  Noch besser ist etwas, das kein Insiderhandel ist, aber Insiderwissen nahekommt: wenn man bei einem Unternehmen arbeitet und dessen Stärken erkennt, während der Markt es noch für ein gewöhnliches Unternehmen hält. Am besten vor oder kurz nach dem IPO.

  • Seth Klarman formuliert das in Margin of Safety erstaunlich klar. Das Ziel ist immer, etwas, das 1 Dollar wert ist, für weniger als 1 Dollar zu kaufen.
    Den Wert eines Vermögenswerts muss man selbst beurteilen, nicht der Markt; dafür ist meist erhebliche Recherche nötig.
    Wenn man dazu nicht bereit ist, sagt auch Klarman ausdrücklich, dass Indexinvestments in Ordnung, aber nicht spektakulär sein werden. Insbesondere kaufen und verkaufen Indizes Aktien nicht aus guten Investmentgründen, sondern weil sie neu gewichtet werden müssen.
    Auf Nachrichten und Ereignisse hin zu handeln, ist im Kern eher Glücksspiel; wenn man aber bereits entschieden hat zu investieren und nur darauf wartet, dass der Preis den eigenen Kriterien entspricht, kann man die Reaktionen anderer auf Nachrichten als Kaufzeitpunkt nutzen.
  • Der Artikel behandelt auch, dass erfahrene Trader im selben Test 60–130 % Rendite erzielten, während Studierende nur einstellige Gewinne oder Verluste machten.
    Die erfahrenen Trader setzten bei etwa einem Drittel der Handelsgelegenheiten überhaupt nicht.
    Genau das fällt bei solchen Trading-Challenges immer auf: Sie lassen es so wirken, als müsse man ständig investiert sein, und viele normale Leute fallen darauf herein.
  • In den meisten Fällen ist es keine gute Idee, direkt nach einem IPO zu verkaufen, wegen Insidern und frühen Verkäufern.
    Als Einstiegszeitpunkt halte ich es für okay. Allerdings ist IPO-Trading insgesamt sehr riskant, daher ist es besser, stabile, etablierte Aktien auszuwählen.
  • Ich kenne Leute, die hauptberuflich anhand von Schlagzeilen handeln; eine Zeit lang lag ihre durchschnittliche tägliche Schrittzahl bei unter 200 Schritten.
    Trotzdem erzielen sie gute Renditen.
  • Das Zitat aus Margin Call wird oft verwendet, aber je mehr ich von der Welt sehe, desto mehr halte ich es für eine naive Sichtweise.
    „Es gibt drei Wege, in diesem Geschäft zu überleben: als Erster sein, klüger sein oder betrügen.“
    In diesem Satz ist der boolesche Operator falsch. Das implizite OR zwischen den Kommata müsste zu AND werden. Der Grund ist einfach: Wenn man nicht bereit ist zu betrügen, überlässt man diesen Vorteil den Betrügern.

• Ein interessanter Artikel, aber wenn man fünf extrem erfahrenen Tradern historische Ereignisse gibt und ihnen Schlagzeilen zu finanziell wichtigen Ereignissen wie CPI- oder Zinsentscheidungen zeigt, die ihre Erinnerung stark anregen, ist es ziemlich wahrscheinlich, dass sie sich an die Ergebnisse erinnern.

  • Genau. Man bewertet ein Modell auf seinen Trainingsdaten.
  • Die Studie sagt, dass Menschen diese Information nicht in einen stabilen Vorteil verwandeln konnten; deine Erklärung beschreibt dagegen, warum Informationsleckage einen stabilen Vorteil erzeugen kann.

• Wer sich Sorgen macht, weil der Markt auf Allzeithoch steht, und deshalb Cash hält, um bei einer Korrektur einzusteigen, sollte sehen, dass es besser ist, jetzt in den Markt zu gehen, statt zu warten.
  Selbst dann, wenn man mit einer Kristallkugel wüsste, wann die Korrektur kommt.
  https://ofdollarsanddata.com/even-god-couldnt-beat-dollar-co...

• Das war ziemlich unterhaltsam. Ich habe 1 Million Dollar auf 4,5 Millionen Dollar gemacht, vor allem dank einiger großer Wetten und danach einer sicheren Strategie für den Rest.
  In der Realität bekomme ich natürlich nicht die Nachrichten von morgen, deshalb bin ich zu 100 % in Indexfonds investiert.

  • Mich würde interessieren, welcher Indexfonds.

• Moment, kennt man bei dieser Challenge das Datum nicht? Ich probiere sie gerade aus, und ohne ein Gefühl für die Stimmung der Zeit wirkt sie wie eine seltsame Challenge.
  Ich schaue gerade auf die Titelseite und denke nur: „Ist das 2008?“
  Wenn man nur Wissen über den nächsten Tag hat, aber überhaupt keinen weiteren Kontext, ist es natürlich schwierig. In der Realität hat man den Kontext mit dazu.

  • Wenn man das genaue Datum kennt, wird es zu leicht, sich an große Kursrückgänge an bestimmten Tagen zu erinnern.
    Trotzdem gab es bei vielen Aufgaben genug Hinweise, um den Zeitraum auf etwa ein bis zwei Wochen einzugrenzen.

• Ich habe dieses Spiel mehrfach gespielt, aber es war immer wieder verbuggt. Nach ein paar Trades hatte ich 2,3 Millionen Dollar gemacht, aber danach funktionierte der „trade“-Button nicht mehr.
  Ich benutze Vivaldi, vielleicht hatte das einen Einfluss.

• Der Titel und die erste Schlussfolgerung sind irreführend, die eigentliche Schlussfolgerung ist simpel: Finanznachrichten sind größtenteils Rauschen.
  Um sie zu nutzen, braucht man einen guten Filter.
  Wenn man eine Kristallkugel hätte, die auch nur einigermaßen zuverlässig Preisdaten zu einem passenden zukünftigen Zeitpunkt zeigt, zum Beispiel in mehr als ein paar Minuten, könnte eine kompetente Person unfassbar reich werden.

• Da ich nicht trade, ist das nur eine Vermutung von geringem Wert, aber es geht hier eher darum, was die Kristallkugel eigentlich ist.
  Dass sie die Zukunft zeigt, liefert einem nicht gratis Einblick in die Dynamiken, die diese Zukunft hervorbringen. Und man muss die Zukunft auch nicht unbedingt kennen, um zu verstehen, welche Dynamiken zwischen mehreren Faktoren oder Akteuren wirken.

  • Diese Studie ist nicht sehr nützlich oder irreführend, weil sie etwas als Kristallkugel definiert, das keine echte Hellsicht liefert.
    Man kann zwar in die Zukunft sehen, aber die eigentlich wichtigen Informationen fehlen; dann ist es keine Kristallkugel.

• Wenn es heißt „Vielleicht ist das eine missbräuchliche Nutzung von Leverage ...“, liegt es einfach daran, dass es nur ein kleines Spielzeugspiel ist.
  Mit einer einseitigen Business-Rubrik von The Economist würde dieses Experiment völlig anders verlaufen. Die Titelseite des WSJ ist im wörtlichen Sinn wahrscheinlich eher Clickbait.