ESPNS KI-Zusammenfassung erwähnte Alex Morgan in ihrem letzten Profispiel nicht

• Die KI-generierte Spielzusammenfassung von ESPN ließ den entscheidenden Kontext aus, dass es sich um Alex Morgans Abschiedsspiel handelte, und zeigt damit, dass automatische Zusammenfassungen trotz korrekter Ergebnisse für Leser wichtige Geschichten verpassen können
• San Diego Wave verlor mit 1:4 gegen North Carolina Courage, und Morgan spielte 15 Minuten, schoss einen Elfmeter und bedankte sich anschließend beim Publikum und verabschiedete sich
• Die Zusammenfassung von ESPN Generative AI Services wurde um 20:52 Uhr Eastern Time auf der Website und in der App veröffentlicht; über 215 Wörter hinweg behandelte sie Tore und Spielverlauf, erwähnte Morgan aber kein einziges Mal
• ESPN erklärte, dass jede KI-Zusammenfassung eine Prüfung durch menschliche Redakteure durchlaufe, doch es ist unklar, ob dieses Auslassen im Prüfprozess übersehen oder bewusst nicht berücksichtigt wurde
• Auch wenn ein separater Artikel Morgans letztes Spiel behandelte, muss eine KI-Zusammenfassung für Fans von wenig beachteten Sportarten, denen sie angeboten wird, auch Kontext auswählen können, um Vertrauen zu gewinnen

---

Die Schlüsselszene des Spiels, die die KI-Zusammenfassung verpasste

• Alex Morgan, eine ikonische Spielerin des US-Fußballs, bestritt am Sonntag für San Diego Wave ihr letztes Profispiel, das Team verlor mit 1:4 gegen North Carolina Courage
• Während des Spiels zog Morgan im Mittelfeld ihre Fußballschuhe aus und winkte unter Tränen den Zuschauern im Snapdragon Stadium zu
  • Das Publikum rief Morgans Namen, und die Spielerinnen stellten sich um sie herum und applaudierten
  • Morgan spielte 15 Minuten und trat einen Elfmeter
  • Nach dem Spiel bedankte sie sich bei den Zuschauern für die Unterstützung und verabschiedete sich
• Das Spiel wurde gleichzeitig über mehrere Netzwerke und Streaming-Dienste übertragen

Auslassungen in der Zusammenfassung von ESPN Generative AI Services

• ESPN Generative AI Services begann in derselben Woche damit, Spielzusammenfassungen für die NWSL und die Premier Lacrosse League bereitzustellen
• Die betreffende Zusammenfassung wurde um 20:52 Uhr Eastern Time auf der ESPN-Website und in der App veröffentlicht
• Die Zusammenfassung fasste Ergebnis, Torschützinnen und Spielverlauf standardmäßig zusammen, erwähnte aber in allen 215 Wörtern Morgan nicht
  • Auch die Tatsache, dass es das letzte Profispiel von Morgan war, die zweimal die World Cup gewann und eine olympische Goldmedaille holte, fehlte
  • Die Zusammenfassung enthielt den Satz, „[San Diegos Kennedy] Wesley war eine herausragende Spielerin, die sowohl in der Defensive als auch in der Offensive beitrug“

Fragen, die die Prüfung durch menschliche Redakteure offenlässt

• ESPN erklärte bei der Vorstellung des Dienstes, dass bei jeder KI-generierten Zusammenfassung menschliche Redakteure Qualität und Genauigkeit prüfen
• Warum Morgan fehlte, ist nicht klar
  • Es ist möglich, dass menschliche Redakteure das Fehlen von Morgan nicht bemerkten
  • Es bleibt auch möglich, dass entschieden wurde, der Kontext rund um Morgan sei nicht erwähnenswert
• Auch wenn die in der Zusammenfassung enthaltenen Fakten selbst korrekt waren, zeigte das Fehlen von Morgan und der Bedeutung dieses Abends, dass hier der Gesamtkontext des Spiels nicht vermittelt wurde

Separater Artikel und spätere Korrektur

• ESPN veröffentlichte einen von Jeff Kassouf verfassten separaten Artikel, der sich auf Morgan konzentrierte
• Der Artikel behandelte Morgans emotionalen letzten Abend, konnte aber leicht übersehen werden, da er im Seitenmenü der KI-generierten Zusammenfassung stand
• ESPN überarbeitete die Spielzusammenfassung am Montag, dem 9. September, um 08:59 Uhr Eastern Time und ergänzte einen Verweis auf Alex Morgan

Grenzen von KI-Zusammenfassungen in wenig beachteten Sportarten

• ESPN erklärte, KI-generierte Zusammenfassungen sollten die Berichterstattung über wenig beachtete Sportarten stärken und Fans Inhalte bieten, die zuvor nicht verfügbar waren
• Eine Spielzusammenfassung, die wichtigen Kontext verpasst, zeigt, dass eine bloße Aufzählung von Fakten nicht ausreicht
• Menschliche Autoren können nicht nur das Ergebnis, sondern auch für Spielerinnen, Liga und Fans wichtige Momente erfassen, doch diese KI-Zusammenfassung konnte diese Rolle nicht erfüllen

[GN⁺]

Hacker-News-Kommentare

• Es ist ziemlich lustig, das als Beispiel zu verwenden, um auf KI-generierte Inhalte einzuschlagen. Webbasierte Sport-Content-Unternehmen erzeugen seit mindestens zehn Jahren automatisch Artikelinhalte, lange bevor LLMs bekannt wurden.
  Meist ging es um Suchrankings, weil möglichst viele halbwegs relevant wirkende Inhalte für die Suchmaschinenoptimierung vorteilhaft waren.
  So etwas ist wahrscheinlich auch vor KI schon mehrfach passiert, nur ist es nicht aufgefallen oder hat kaum jemanden interessiert. In diesem Fall wirkt es eher so, als hätte ESPN das Gespür für den Moment verpasst und nicht dafür gesorgt, dass ein Texter den betreffenden Artikel manuell aktualisiert. ESPN ist schon lange dafür bekannt, Quantität gegenüber Qualität zu bevorzugen.
  Quelle: Ich habe einmal als Entwickler auf der technischen Seite für ein Unternehmen gearbeitet, das solche Inhalte erstellt.

  • Trotzdem hat KI es in diesem Fall nicht besser gemacht.
    Dass solche generischen Inhalte mit ein paar eingestreuten Sportbegriffen profitabel sind, ist an sich schon ziemlich deprimierend.
  • Also heißt das, KI ist genauso schlecht wie die bisherigen Methoden, benötigt aber mehr Daten und einen höheren Energieverbrauch?
  • Wenn man sich die Stelle ansieht, dass „einer der Texter garantiert diesen konkreten Artikel manuell aktualisiert“, dann gab es so ein System offenbar früher schon nicht wirklich, und dem Ergebnis dieses Artikels nach gibt es das eindeutig auch jetzt nicht.
    Man merkt vielen Sportartikeln an, dass sie im Grunde Lückentexte sind. Deshalb wird sofort ein AP-Artikel veröffentlicht, und der tatsächlich zuständige Reporter bringt dann am Abend oder am nächsten Morgen einen eigenen Artikel.
  • Der Niedergang von ESPN hat lange vor LLMs begonnen, und die immer offensichtlichere KI-Nutzung beschleunigt diese Abwärtsspirale nur.
  • Ich weiß nicht, welches Web ihr in den letzten mehr als fünf Jahren gesehen habt. Nicht nur Sport-„Content“, sondern Inhalte aller Art sind in minderwertigen Suchmaschinenoptimierungsseiten versunken.
    Ob automatisch generiert oder nicht, sie sind gleichermaßen nutzlos, und LLMs machen das nur billiger.

• Dieses Spiel wurde von ESPN sowohl auf ESPN2 als auch auf ESPN+ übertragen. Dann ist es ziemlich wahrscheinlich, dass sie zwei Fachkommentatoren dafür bezahlt haben, vor, während und nach dem Spiel Kontext zu liefern und wichtige Szenen zu erklären.
  Stellen sie diese Inhalte dem Schreibbot nicht als Untertitel-Transkript zur Verfügung? Da der Kommentar ohnehin bereits in Echtzeit untertitelt wird, wirkt das wie eine wirklich einfache Verbesserung.

  • Das hat mich interessiert, also habe ich es selbst ausprobiert. Ich habe das Spiel mit whisper-small.en transkribiert und ChatGPT mit einem neutralen Prompt um eine Zusammenfassung gebeten.
    „Das Folgende ist das Transkript eines Fußballspiels. Schreiben Sie im Stil eines erfahrenen professionellen Sportjournalisten einen 200-Wörter-Artikel über dieses Spiel.“
    Die Zusammenfassung begann mit: „In ihrem letzten Profispiel zeigte Alex Morgan eine Partie voller Emotion und Widerstandskraft, doch San Diego Wave verlor mit 3:1 gegen North Carolina Courage. Das Spiel im Snapdragon Stadium in San Diego war nicht nur ein Wettkampf, sondern eine Hommage an eine der Symbolfiguren des Fußballs.“
    Der Spielstand war falsch. Der Rest ist hier: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
  • Im Sport gibt es sehr viele strukturierte Daten, und gerade bei einer Marke wie ESPN ist der Anspruch hoch, diese korrekt zu beschreiben.
    Wenn man ein stundenlanges Transkript in ein LLM steckt, besteht die Gefahr von Halluzinationen, weil Kommentatoren sich über Torchancen oder Ereignisse begeistern, die am Ende gar nicht eintreten.
    Umgekehrt lassen sich einfache Aufgaben wie „wandle die Liste der Tore, Zeiten, Torschützen, Vorlagengeber usw. in Sätze um“ auch ohne LLM mit einem deterministischen Algorithmus erledigen, und so könnte es auch hier gewesen sein. Einige Grammatikprobleme im Original fühlen sich eher nach falsch kombinierten Ersetzungsregeln aus der Vor-LLM-Zeit an.
    Man kann ein System bauen, das den ersten Output eines LLM aus der Zusammenfassung eines langen Transkripts wiederholt prüft und mit bereits bekannten strukturierten Daten abgleicht, um die Genauigkeit sicherzustellen. Damit ließen sich reichhaltigere Inhalte und eine akzeptable Fehlerquote erreichen, und die weltbesten Machine-Learning-Ingenieure könnten bei einem Hackathon einen Prototyp bauen.
    Für eine große, risikoscheue Organisation ist das aber keineswegs einfach. Denn es ist schwer, gegen die Logik „Was wir jetzt haben, ist unvollkommen, aber wenigstens nicht faktisch falsch“ anzukommen.
  • Ich habe einige Unternehmen beraten, die sich selbst als „Medien-/Journalismus“-Firmen sehen, und was mich immer wieder überrascht hat, war, dass die Technikteams von den Content-Teams getrennt waren und oft nur sehr geringe Medienzugriffsrechte hatten.
    Das unterscheidet sich ziemlich stark von der in Technologieunternehmen erwarteten „Zugriff auf alles“-Arbeitsweise und auch vom allgemeinen gesunden Menschenverstand.
    Ich weiß überhaupt nicht, wie ESPN arbeitet; das ist nur eine Schlussfolgerung auf Basis dessen, was ich anderswo gesehen habe.
  • Ich dachte dasselbe. Es scheint noch sehr am Anfang zu stehen.

• Wenn die Information „Das ist Alex Morgans letztes Spiel“ weder in der Eingabe noch irgendwo im Prompt enthalten war, wie hätte die KI-Zusammenfassung diesen Punkt dann überhaupt in den Spielbericht aufnehmen sollen?
  Selbst wenn man irgendeinem Teenager-Praktikanten nur eine Tabelle mit Torschützen und Zeitpunkten gegeben hätte, hätte er wohl einen ähnlichen Artikel geschrieben. Aber das ist keine Ausrede dafür, dass Medienhäuser und Sportseiten für alles generative KI einsetzen dürfen, und ich verstehe auch, warum die Leute von ESPN genervt sind.

  • Wenn diese Information nicht vorhanden war, kann sie auch nicht erzeugt werden, und genau das ist das Problem. Eines der großen Verkaufsargumente generativer KI ist, Menschen aus dem Schreibprozess herauszunehmen. Wenn aber jemand das Spiel tatsächlich ansehen und im Prompt beschreiben muss, was passiert ist, weiß ich nicht, worin der Sinn dieser Technologie liegen soll.
    So sieht der Einsatz generativer KI aus: Man verwendet minderwertigen Input, um etwas zu erzeugen, das wie ein Artikel aussieht. Das ist die glorreiche Zukunft, die OpenAI uns gebracht hat.
  • Der Kern der Kritik ist weniger „wie dumm KI ist“, sondern eher, dass dies ein Beispiel dafür ist, wie KI-Inhalte unzureichend werden, selbst wenn sie, wie ESPN behauptet, von Menschen überprüft wurden.
  • Das ist weniger eine grundsätzliche Grenze von KI als vielmehr eine Frage, wie man sie besser einsetzt.
    Statt einfach nur Spielereignisse in ein LLM zu geben und um eine Zusammenfassung zu bitten, gibt es einen offensichtlichen Weg zur Verbesserung: Man könnte Zusammenfassungen der 10 jüngsten Artikel über die beteiligten Spieler, Trainer usw. in den Prompt aufnehmen, vielleicht auch Zusammenfassungen der 10 wichtigsten historischen Artikel.
    Danach kann man das Spiel zusammenfassen lassen und darum bitten, die anderen Informationen zur Verbesserung der Artikelqualität heranzuziehen. Klingt das nicht genau nach etwas, worin ein LLM gut sein kann?
  • Wer diesen Artikel lesen würde, wusste bereits sehr gut, dass es Alex Morgans letztes Spiel war. Wenn ESPN mit seinem großen Einfluss in den Sportmedien das nicht erfassen und im Artikel berücksichtigen kann, weiß ich nicht, warum ein Publisher einen ESPN-Zusammenfassungsdienst statt irgendeines Y-Combinator-Startups nutzen sollte.
  • Um solche Informationen in den Prompt aufzunehmen, müsste man eine Art Retrieval-Augmented-Generation-System aufbauen. Das ließe sich halbautomatisch machen, aber nur, wenn man deutlich mehr Aufwand in das System steckt.

• ESPN betonte, dass „jede von KI generierte Zusammenfassung von einem menschlichen Redakteur geprüft wird, um Qualität und Genauigkeit sicherzustellen“, aber das ist schwer zu glauben.
  Der Hauptzweck, Artikel von KI schreiben zu lassen, besteht darin, die Zahl der Menschen zu reduzieren, die man bezahlen muss. Daher wird es vermutlich keine Option sein, dafür zu bezahlen, dass ausgebildete Fachleute jeden Artikel sorgfältig prüfen.
  Man kann Kompromisse eingehen, indem man die Gründlichkeit der Prüfung senkt, die fachliche Kompetenz der Redakteure reduziert oder nicht bei jedem Artikel Menschen einbindet, aber man wird nicht dafür bezahlen, dass professionelle Redakteure ihre Arbeit ordentlich machen. Darauf würde ich wetten.

  • Ich finde, diese Logik passt nicht ganz. Mit generierten Artikeln kann man viel Geld sparen, aber wenn der Inhalt nicht korrekt ist, verliert man das Vertrauen der Kunden, also der Werbetreibenden.
    Selbst wenn man pro 10 ersetzte Reporter nur 1 Redakteur behält, ist das immer noch eine große Kostensenkung.
    Vielleicht werden in ein paar Generationen auch die Redakteure ersetzt, aber ich glaube nicht, dass wir schon so weit sind.

• ESPN hat Menschen aus der Berichterstattung entfernt, und die KI hat Menschen aus dem Inhalt der Berichterstattung entfernt.
  ESPN betonte bei der Ankündigung des Dienstes: „Jede von KI generierte Zusammenfassung wird von einem menschlichen Redakteur geprüft, um Qualität und Genauigkeit sicherzustellen.“ Unklar ist, ob der menschliche Redakteur Morgans Fehlen nicht bemerkt hat oder ob er es nicht für erwähnenswert hielt.
  In den letzten 100 Jahren war der Praktikant ein hervorragender Sündenbock.

  • Meine Interpretation ist ähnlich. Es fühlt sich im Grunde an wie: „Ein Teenager in Indien überfliegt schnell 1.000 KI-generierte Artikel pro Tag und sucht nur nach beleidigenden Formulierungen oder Dingen, die zu Klagen führen könnten, und das war’s.“

• Ich hasse die KI-Spielzusammenfassungen von WTT (World Table Tennis) wirklich.
  KI-Highlights schneiden mitten in einem Ballwechsel ab und überspringen ganze Punkte oder sogar ganze Sätze. Sie erfassen auch wichtige Ereignisse zwischen den Punkten nicht und schneiden manchmal den spannenden Kommentar nach einem Punkt, Jubel oder sogar den Handschlag am Spielende weg.

  • Ich hasse alles, was KI erzeugt. Gibt es so etwas wie ein Uncanny Valley auch bei Texten?

• Wie werden solche KI-Zusammenfassungen eigentlich erzeugt? Ich frage mich, ob man die vollständige Videodatei eines Spiels eingibt und dann eine Zusammenfassung ausgespuckt wird, oder ob man ein von Menschen erstelltes Scoring-Protokoll mit Timestamps für die Treffer eingibt und die KI daraus mit ein paar Sätzen einen Artikel macht.

  • Als ich so etwas früher, vor der KI-Zeit, gebaut habe, lagen alle Spielinformationen in einer API, und man füllte damit Templates aus.
    Heute würde man vermutlich rohe API-Calls hineingeben und einen Prompt wie „Schreibe anhand dieser Daten einen Spielbericht“ verwenden, dann käme ein Ergebnis heraus. Natürlich nehme ich an, dass der Prompt etwas sorgfältiger formuliert wäre. Oder, da es ESPN ist, vielleicht auch nicht.
    Ich erinnere mich allerdings überhaupt nicht daran, dass retiring_players in der API-Antwort enthalten gewesen wäre.
    Nebenbei: Play-by-Play-Zusammenfassungen sind wirklich extrem gut dokumentiert. Erstaunlich gut. Bei beliebten Sportarten wie Gridiron Football oder Basketball gibt es teilweise Spielerpositionen im Sekundentakt. Diese Daten kommen aus Feeds wie SportsRadar.
    Vermutlich würde man solche Detaildaten nicht komplett in den Prompt packen, aber es gibt ziemlich gute Zusammenfassungsinformationen, etwa wer wie viele Dreier getroffen hat und von wo sie geworfen wurden.
  • Wenn ich diesen Prototyp bauen würde, würde ich als Eingabe zunächst nur halbstrukturierte Play-by-Play-Protokolle verwenden.
    Wenn man dazu Kader, Verletzungen und Spielplaninformationen einbezieht und einen ziemlich einfachen Prompt verwendet, dürfte das schon deutlich besser werden.
    Solche Daten existieren heute für die meisten Live-Spiele über verschiedene Webservices. ESPN sollte intern genug Ressourcen haben, um an solche Informationen zu kommen.
  • Es gibt einige Unternehmen, die Live-Sportdaten per API bereitstellen oder Zusammenfassungen nach dem Spiel liefern, daher ist es wahrscheinlich, dass so etwas genutzt wird.
  • Es werden Boxscores und Play-by-Play-Events verwendet.
  • Die Kluft zwischen Erwartungen und Realität bei „generativer KI“ ist inzwischen zu groß, um sie zu ignorieren.
    Wenn ein System im Milliarden-Dollar-Bereich wegen „menschlicher Fehler“ scheitert, sind seine Fähigkeiten möglicherweise stark übertrieben. Wenn sorgfältig formulierte Anfragen, also „Prompt Engineering“, 100 % fehlerfreie Daten, enorme Mengen Strom und anschließend noch eine menschliche Prüfung der Ausgabe nötig sind, weiß ich nicht, was wir gewonnen haben.
    Ist es nicht an der Zeit anzuerkennen, dass diese KI-Phase eine Blase ist?

• Solche Websites sind vollgestopft mit Trackern und Werbung und bestehen im Grunde nur aus extrem in die Länge gezogenen, äußerst aufwandsarmen Artikeln über meist ziemlich belanglose Inhalte.