Züge ruhen wegen gefälschter Bilder eines angeblichen Brückensturzes

• Als KI-generiert verdächtiges Bild verbreitete sich in den sozialen Medien, sodass es so wirkte, als sei die Brücke eingestürzt, und der Zugverkehr vorübergehend eingestellt wurde
• Network Rail stoppte unmittelbar nach der Verbreitung des Fotos alle Züge über die Carlisle Bridge für Sicherheitsüberprüfungen
• Nach den Kontrollen wurden keine Mängel festgestellt und nach etwa eineinhalb Stunden wurde die Strecke wieder freigegeben; 32 Personenzüge und Güterzüge waren verspätet
• Die Eisenbahnbehörde warnte, dass die Erstellung und Weitergabe von Falschinformationen unnötige Störungen und eine Verschwendung von Steuergeldern verursachen
• Experten bewerten den Vorfall als Beispiel dafür, dass KI-basierte Desinformation reale Auswirkungen auf den Betrieb kritischer Infrastruktur haben kann

---

Zugausfall durch ein gefälschtes Bild

• Unmittelbar nach einem Erdbeben wurde in sozialen Medien ein Bild veröffentlicht, das den Eindruck erweckte, die Brücke sei schwer beschädigt
  • Das Bild wurde als möglicherweise von KI erzeugt eingestuft und zeigte die Carlisle Bridge in Lancaster wie eingestürzt
• Network Rail erkannte das Bild um 00:30 Uhr GMT, stellte den Zugverkehr über die Brücke an dieser Stelle ein und entsandte Teams für Sicherheitsprüfungen
• Ein BBC-Reporter analysierte das Bild mit einem KI-Chatbot und fand, dass es Spuren von Manipulation enthielt

Reaktion der Eisenbahnbehörden und Auswirkungen

• Gegen 02:00 Uhr GMT wurde die Strecke vollständig wieder freigegeben, und Network Rail warnte vor den schweren Folgen der Verbreitung solcher falschen Bilder
• Die Behörden erklärten: Solche Bilder verursachen Verspätungen und eine Verschwendung öffentlicher Mittel und belasten das Personal vor Ort zusätzlich
• Die British Transport Police wurde auf den Vorfall aufmerksam, jedoch wurde kein offizielles Ermittlungsverfahren eingeleitet

Umfang der Fahrplanstörungen

• Laut Network Rail wurden insgesamt 32 Personenzüge und Güterzüge verspätet
  • Einige hielten an oder wurden langsamer, andere wurden durch die Verspätung vorausfahrender Züge betroffen
  • Wegen der Länge der West Coast Main Line verbreitete sich die Verspätung bis in den nördlichen Teil Schottlands

Expertenanalyse

• Eisenbahnspezialist Tony Miles erklärte, dass es kurz nach Mitternacht sei und deshalb überwiegend Fracht- und Nachtzüge unterwegs gewesen seien
  • Diese fahren in der Regel langsamer, sodass sie bei Verspätungen etwas Spielraum haben, Zeit durch erhöhte Geschwindigkeit nachzuholen
• Er wies darauf hin, dass Network Rail wegen des Einsatzes von Ausrüstruppe vor Ort in den kommenden Tagen spürbare Auswirkungen auf die Arbeit haben könne

Gesellschaftliche Folgen von Falschinformationen

• Miles betonte, dass solche gefälschten Bilder reale Auswirkungen auf die Zeitpläne von Menschen haben können
  • Er verwies darauf, dass sie wichtige Termine wie Arzttermine, Flüge oder Beerdigungen beeinträchtigen könnten
• Er mahnte, dass es sich bei solchen Handlungen nicht um bloßen Spaß handelt, sondern um Handlungen, die tatsächlichen Menschen schaden

[roxie]

Warum sucht man nicht nach der Person, die es ursprünglich verbreitet hat?

[shakespeares]

Mit KI könnten Kursmanipulatoren wohl von organisierten Gruppen zu Einzelpersonen werden?

[crawler]

Ich frage mich wirklich, welche Strafe es in so einem Fall geben würde.

[GN⁺]

Hacker-News-Kommentare

• Wir stehen erst am Anfang des Zeitalters gefälschter Bilder und Videos
  Schon früher haben Menschen auch ohne KI fingierte Szenen erzeugt, etwa wie beim inszenierten Bombenvorfall im Donbas, bei dem Leichen benutzt wurden
  Künftig wird es Videos geben, in denen Minderheiten oder Politiker Dinge tun, die sie nie getan haben, sowie vollständig erfundene Materialien, die als Beweismittel vor Gericht eingereicht werden. Das wird wohl eine wirklich schreckliche Welt

  • Man braucht nicht einmal unbedingt gefälschte Videos. Es reicht schon, ein Foto einer Minderheit mit einer falschen Bildunterschrift zu versehen, und unzählige Menschen stürzen sich empört darauf
  • Die Reaktionen unterscheiden sich je nach Generation. Wer die Zeit erlebt hat, als digitale Bearbeitung gerade massentauglich wurde, bleibt eher gelassen, aber die dazwischenliegende Generation (20–40) ist am meisten genervt. Es fühlt sich an, als stünde man im Zentrum eines cyberpunkartigen Chaos, in dem das Realitätsgefühl zerbricht
  • Schon vor 10 bis 20 Jahren konnte man mit einfachen Werkzeugen ausreichend raffinierte Manipulationen erstellen. Die heutige Erzählung, dass „KI alles kaputtmacht“, wirkt eher wie eine politische Bewegung, die auf Regulierung von Open-Source-KI abzielt
  • In einer indischen Studie habe ich zum ersten Mal den Begriff Cheap Fakes gehört. Generative KI macht Phishing-Angriffe effizienter, sodass nun auch verletzliche Gruppen ins Visier geraten, die früher keine Ziele waren. Das Informationsökosystem wird vergiftet, und es entsteht ein düsterer Wald, in dem das Kontrollbedürfnis des Staates und die Meinungsfreiheit aufeinanderprallen
  • Es gibt tatsächlich viele manipulierte Fotos, aber ebenso oft werden echte Vorfälle verzerrt oder ignoriert. Problematisch ist genau der Punkt, an dem sich Realität und Fiktion vermischen

• Dieser Vorfall zeigt die Lücke zwischen den Kosten, eine Warnung zu erzeugen, und den Kosten ihrer Verifikation
  Generative Tools machen Manipulationen nahezu kostenlos und lassen ihre Menge explosionsartig wachsen
  Der Bahnbetreiber trifft keine Schuld. Wenn direkt nach einem Erdbeben ein plausibles Bild kursiert, ist es nur natürlich, den Zustand vor Ort zu überprüfen
  Künftig wird eine einzelne Person mit geringen Kosten teure Reaktionen auslösen können. Systeme sollten soziale Netzwerke nicht einfach ignorieren, sondern ihre Geschwindigkeit und Resilienz bei der Trennung von Signal und Rauschen stärken

  • Selbst wenn jemand einfach angerufen und gesagt hätte: „Die Brücke ist eingestürzt“, hätte es Verzögerungen gegeben. Lügen am Telefon sind ebenfalls ein altes Problem
  • An einem Ort mit vielen Überwachungskameras wie im Vereinigten Königreich hätte man den Zustand der Brücke vielleicht direkt prüfen können; insofern ist es überraschend. Automatische Erkennungstechnik muss sich weiterentwickeln
  • Wie bei Brandolinis Gesetz kostet es weit mehr Energie, eine Lüge zu widerlegen
  • Um 2030 herum werden noch viel raffiniertere Fälschungsbilder in Sekundenschnelle erzeugt werden können. Das ähnelt dem Angreifer-Verteidiger-Dilemma in der Cybersicherheit
  • Solche Vorfälle könnten Investitionen in Echtzeit-Monitoring für Infrastruktur fördern

• Von 1950 bis 2005 waren die Hürden für den Rundfunk hoch, daher gab es nur wenige Informationsquellen. Von 2005 bis 2021 war das Vertrauen in Videos hoch, doch inzwischen sind die Kosten für Fake-Videos fast bei null
  Vermutlich kehren wir wieder zu wenigen vertrauenswürdigen Quellen zurück

  • Aber auch diese wenigen Quellen haben verzerrt berichtet. Wenn KI das Vertrauen weiter senkt, könnte der Wert echten Journalismus sogar abnehmen
  • Heutzutage gibt es so viele Werbungen mit sprechenden KI-Tieren, dass es nervt
  • Einige zahlen für präzise Nachrichten, aber die Mehrheit will nur ihre eigenen Vorurteile bestätigt sehen. Algorithmen in sozialen Netzwerken priorisieren Engagement und Werbeerlöse über die Wahrheit

• Network Rail sagte zwar, man solle vor dem Erstellen oder Teilen falscher Bilder über die ernsten Folgen nachdenken,
  aber eigentlich braucht es ein Verifikationssystem, das nicht von Social Media abhängt. Wäre ein direkter telefonischer Check nicht besser gewesen?

  • Trotzdem gilt: Wenn die Möglichkeit besteht, dass eine Brücke eingestürzt ist, dann ist das Anhalten von Zügen die richtige Entscheidung
  • Es war mitten in der Nacht, daher dürfte es Zeit gekostet haben, Personal zur Überprüfung zu finden. Absolute Sicherheit lässt sich nicht garantieren, aber zuerst muss das Risiko reduziert werden
  • Es ist unmöglich, auf allen Streckenabschnitten rund um die Uhr Personal vor Ort zu haben. Network Rail hat mit seiner Sicherheits-zuerst-Reaktion richtig gehandelt

• Tatsächlich braucht man für so etwas keine KI
  Dasselbe Ergebnis hätte es gegeben, wenn einfach jemand angerufen und gesagt hätte: „Die Brücke ist kaputt.“ Scherzanrufe und falsche Drohungen gibt es schon lange

  • Der Unterschied ist jedoch die Viralität sozialer Netzwerke. Wenn sich ein Bild verbreitet, reagieren viele Entscheidungsträger gleichzeitig. Ein Anruf verbreitet sich nicht, ein Bild dagegen schon. Deshalb war dieser Vorfall möglich
  • Die Logik „Früher gab es auch schon schlimme Dinge, also muss man sich keine Sorgen machen“ ist gefährlich. Man sollte ein Problem nicht von Stufe X auf Stufe X² vergrößern
  • Telefonstreiche ziehen rechtliche Strafen nach sich, gefälschte Fotos überschreiten diese Schwelle oft nicht
  • Schon vor der Erfindung des Schießpulvers konnte man Menschen mit Geschossen töten, aber Schießpulver hat die Welt verändert. Bei KI ist es genauso
  • Um Falschhandlungen zu verhindern, braucht es harte Strafen. Das Problem ist, dass die Kostenstruktur die Gesellschaft belastet, nicht die Täter

• Interessanterweise gibt es tatsächlich keine Belege dafür, dass dieses Bild in sozialen Netzwerken kursierte
  Außer dem BBC-Artikel ließ sich keine Spur finden. Vielleicht wurde es direkt per E-Mail an Network Rail geschickt?

  • Wenn es ein so ausgefeilter Streich war, ist das fast schon bewundernswert

• Dieser Vorfall erinnert an den Moab-Plot aus „Fall; or, Dodge in Hell“

  • Der frühe Teil des Buchs war wirklich faszinierend. Besonders eindrucksvoll war, wie es Anonymität und Online-Präsenz behandelt

• Der BBC-Reporter soll das Bild mit einem KI-Chatbot analysiert und Spuren der Manipulation gefunden haben
  Aber als Verifikationsmethode wirkt so etwas ungeeignet

  • Tatsächlich ist der Reporter vor Ort gegangen und hat bestätigt, dass die Brücke intakt war. Die KI-Analyse dürfte nur ein Hilfsmittel gewesen sein
  • Ein Lehrer ließ Schülerarbeiten einmal von ChatGPT prüfen, aber die Zuverlässigkeit solcher KI-Erkennung ist gering. Wenn Schüler das Modell gezielt ausnutzen, lässt es sich leicht täuschen
  • Eine ChatGPT-Antwort nach dem Muster „Man erkennt es an den Pixeln“ klingt eher wie ein Witz
  • Es mag ein schneller Weg sein, aber nicht auf einem Zuverlässigkeitsniveau, das man in einer Berichterstattung zitieren sollte

• Die Warnung von Network Rail hat eher noch die eigene Verwundbarkeit offengelegt
  Auf diese Weise wären jederzeit Angriffe möglich, die öffentliche Infrastruktur lahmlegen

  • Eigentlich ist diese Verwundbarkeit schon seit Langem bekannt

• Die Aussage „Die Brückeninspektion hatte mehrere Tage Auswirkungen auf die Arbeit“ ist noch beunruhigender
  Dass selbst eine bloße Sichtprüfung so große gesellschaftliche Kosten verursacht, ist erstaunlich

  • Allerdings erhalten Einsatzkräfte für Notfalleinsätze Freizeitausgleich (TOIL), was sich auf den Zeitplan auswirkt.
    Personal in 24/7-Bereitschaft zu halten wäre noch teurer. Am Ende ist es eine Frage des Gleichgewichts zwischen Kosten und Sicherheit