Leben und Tod des intern bei Google betriebenen Prognosemarkts

• In den vergangenen 20 Jahren hat Google zwei unterschiedliche interne Prognoseplattformen betrieben
• Die erste Plattform scheiterte, aber kann die zweite bestehen bleiben?

Googles Glanzzeit

• Im Juli 2005 war Google der Liebling des Silicon Valley. Google Maps wurde vorgestellt, und Gmail befand sich noch in der Beta-Version
• Google war damals ein untypisches Unternehmen, das mit den Konventionen des Silicon Valley brach
• Die Gründer von Google sagten: "Google ist kein typisches Unternehmen"

Prophit - Googles erster interner Prognosemarkt

• 2005 startete Google mit Prophit einen internen Prognosemarkt
• 20 % der Google-Mitarbeitenden nahmen teil, und die Plattform lief drei Jahre lang
• Prophit lieferte präzise Vorhersagen und erhielt auch mediale Aufmerksamkeit

Das Scheitern von Prophit und die Lehren daraus

• Prophit wurde schließlich 2011 eingestellt
• Das größte Hindernis war, dass Online-Glücksspiel illegal ist
• Außerdem wurde versucht, das Produkt extern zu veröffentlichen, was jedoch aufgrund rechtlicher Probleme scheiterte. Die Beschaffung der nötigen Ressourcen war schwierig
• Rückblickend hieß es dazu: "Man hätte es nur intern betreiben sollen"

Gleangen - Googles zweiter Prognosemarkt

• Im April 2020 startete der Google-Mitarbeiter Dan Schwarz Gleangen
• 8 % der Google-Mitarbeitenden (rund 15.000 Personen) nahmen teil, und es gab dauerhaft mehr als 1.000 monatlich aktive Nutzer
• Auf Basis der Lehren aus Prophit wurde es als internes Entscheidungstool konzipiert

Bedeutung und Herausforderungen von Prognosemärkten

• Vorteile von Prognosemärkten
  • Prognosemärkte können mithilfe kollektiver Intelligenz präzise Vorhersagen liefern
  • Unternehmen können damit Bewegungen von Wettbewerbern antizipieren oder interne Entscheidungen verbessern
• Ursachen des Scheiterns
  • Rechtliche Regulierung und die Schwierigkeiten beim Teilen interner Daten sind die größten Hindernisse
  • Im Fall von Prophit scheiterte das Vorhaben daran, dass keine rechtliche Genehmigung für einen externen Launch erlangt werden konnte
• Herausforderungen beim Betrieb von Prognosemärkten
  • Zurückhaltung beim Teilen von Daten und der Wunsch, Spielraum für Rechtfertigungen bei Projektmisserfolgen zu behalten, wirken als Hindernisse
  • Der Wunsch des Managements nach Informationskontrolle kann mit der Nutzung der Weisheit der Vielen in Konflikt geraten
  • Mitunter werden Transparenz und Verantwortlichkeit des Prognoseprozesses höher gewichtet als die Genauigkeit der Vorhersage

Waymo und der Einsatz von Prognosemärkten

• Anwendung bei Waymo
  • Das Systems-Engineering-Team von Waymo versuchte, mithilfe eines Prognosemarkts die Sicherheitsmetriken zu verbessern
  • Wegen eingeschränktem Datenzugang und mangelnder Unterstützung durch das Management war dies jedoch nicht erfolgreich

Die Weiterentwicklung von Gleangen und die Rolle von KI

• Erfolg und Grenzen von Gleangen
  • Gleangen unterstützt die Entscheidungsfindung in verschiedenen Google-Abteilungen durch Vorhersagen
  • Wegen Beschränkungen bei internen Daten und mangelndem Interesse des Managements blieb der volle Erfolg jedoch aus
• KI und die Zukunft von Prognosemärkten
  • KI kann dazu beitragen, die Kosten von Prognosemärkten zu senken und ihre Genauigkeit zu erhöhen
  • Die Kombination aus KI und menschlicher kollektiver Intelligenz kann bessere Vorhersagen ermöglichen
• Vergleich von KI-Prognosen und menschlichen Prognosen
  • Jüngere Studien zufolge sind KI-Prognosen deutlich besser als Zufallsvorhersagen, aber nicht so präzise wie menschliche Gruppen
  • Da menschliche Vorhersagen zum Training von KI genutzt werden, steigt jedoch der Wert von unternehmensinternen Prognosemärkten

Die Zukunft unternehmensinterner Prognosemärkte

• Entscheidend ist, dem Management wertvollere Informationen zu liefern und die Prognosekosten mit KI zu senken
• Das Interesse an unternehmensinternen Prognosemärkten wächst, da einige Unternehmen wie Anthropic solche Systeme einführen
• Erfolgreiche Prognosemärkte können den Wert von Informationen steigern und zu strategischen Unternehmensentscheidungen beitragen
• Mit dem Fortschritt der KI dürfte sich die Effizienz von Prognosemärkten weiter verbessern

[GN⁺]

Hacker-News-Kommentare

• Google hat viele technische Praktiken wie firmeninterne Cafés, A/B-Tests und „Dogfooding“ mitgeprägt. Allerdings hatten Microsoft und andere bereits Jahrzehnte zuvor mit Dogfooding begonnen

  • Firmen-Cafés gab es schon lange, bevor Google das Konzept eingeführt hat

• Ich hatte gehofft, dass auf die Probleme von Prognosemärkten eingegangen wird, aber der Artikel behandelt nur eine trockene Historie

  • Ein reiner Prognosemarkt kann in der Realität nicht existieren, und ein Prognosemarkt lässt sich nicht vollständig vom Ereignis trennen
  • Sobald Eigeninteressen an einer Vorhersage das Ergebnis beeinflussen, wird der Markt nutzlos

• Googles Erfolg ist nicht nur auf seine Kultur zurückzuführen, sondern auch auf das schnelle Wachstum des Marktes

• Marktpreise liefern eine Zahl zwischen 0 und 1, und der Preis steigt, je wahrscheinlicher ein Ereignis wird

  • Das jedoch als Wahrscheinlichkeit zu interpretieren, ist kompliziert, und reale Händler haben begrenztes Kapital und sind risikoavers

• Ich frage mich, wie der Prognosemarkt diese Probleme gelöst hat

  • Ob es eine Nachbearbeitung gab, um Marktpreise in endgültige Wahrscheinlichkeiten umzuwandeln, und ob die Händler sich so verhielten, dass Marktpreise als Wahrscheinlichkeiten interpretiert werden konnten

• Prognosemärkte werden einen Durchbruch bringen, wenn sie nicht nur kollektive Urteile, sondern auch Superforecasting nutzen

  • Derzeit sind Prognosemärkte nur einfache Meinungsumfragen, und es ist nötig, Teilnehmer zu identifizieren, die den Markt kontinuierlich schlagen
  • Dafür braucht es die langfristige Nachverfolgung von Wetten und dass einzelne Positionen vor dem Markt verborgen bleiben

• Google betrieb intern mehrere Glücksspiel-Plattformen, und HR- sowie Compliance-Abteilungen haben dies zugelassen

• Polymarket gilt als der erfolgreichste Prognosemarkt