Auswirkungen der CrowdStrike-Störung auf die Luftfahrtbranche

 (heavymeta.org)
1 Punkte von GN⁺ 2024-07-30 | 1 Kommentare | Auf WhatsApp teilen
  • Das am 19. Juli 2024 um 04:09 UTC von CrowdStrike ausgerollte Sensor-Konfigurationsupdate für Windows führte bei rund 8,5 Millionen Computern zu Bluescreens; auch der Betrieb von Fluggesellschaften war betroffen
  • Der gesamte US-Luftverkehr, einschließlich Feuerwehr, Polizei, Militär und General Aviation, verzeichnete seit dem 19. Juli um 04:00 kumuliert 2,6 % mehr Starts als am Freitag der Vorwoche; zwischen 08:00 und 09:00 ging die Zahl jedoch von 378 auf 261 Starts zurück, ein Rückgang um 31 %
  • Die Auswirkungen auf die vier größten US-Fluggesellschaften fielen sehr unterschiedlich aus: Delta kam auf -1.087 Flüge (-46 %), United auf -596 Flüge (-36 %), American auf -376 Flüge (-16 %) und Southwest auf +101 Flüge (+3 %)
  • Delta strich über mehrere Tage hinweg Tausende Flüge und erholte sich nur langsam; laut ABC News war Southwest nicht betroffen, weil das Unternehmen CrowdStrike nicht einsetzt
  • Die Analyse erkannte Starts in den rohen ADS-B-Daten von ADS-B Exchange und betrachtete sie näherungsweise als Flüge; auch wenn die absoluten Zahlen zu niedrig ausfallen können, gilt dies als brauchbar für den Vergleich von Verhältnissen zwischen Zeiträumen

Ausgangspunkt der CrowdStrike-Störung am 19. Juli 2024

  • Am 19. Juli 2024 um 04:09 UTC verteilte CrowdStrike ein Sensor-Konfigurationsupdate an Windows-Systeme
  • Anschließend erlebten rund 8,5 Millionen Computer Bluescreens; betroffen waren unter anderem Krankenhäuser, Banken und 911-Systeme
  • Linux, Mac und Mobiltelefone werden nicht als direkt von dieser Störung betroffen genannt
  • Dienste wie Gmail, Facebook und Twitter liefen weiter, während Windows-Rechner, die reale Geschäftsprozesse wie Buchungen, Kontoeröffnungen oder Polizeieinsätze abwickeln, ausfielen
  • Auch Systeme von Fluggesellschaften gehören zu diesem Windows-basierten Betriebsbereich

Fokus auf den Vergleich des tatsächlichen Luftverkehrs statt auf Stornierungszahlen

  • Statt nur die Zahl der von Fluggesellschaften gestrichenen Flüge zu betrachten, wurde ein Ansatz gewählt, der die Zahl der tatsächlich in der Luft befindlichen Flugzeuge mit der Zahl vergleicht, die eigentlich in der Luft hätte sein sollen
  • Auf Basis von FlightRadar24 wurden 12-Stunden-Timelapse-Videos für American Airlines, Delta und United geteilt, doch ohne Vergleichsmaßstab ist das Ausmaß der Auswirkungen schwer einzuschätzen
  • Dass nachts weniger Flugzeuge unterwegs sind, passiert jeden Tag; daher muss mit dem normalen Muster desselben Wochentags verglichen werden
  • Das entspricht dem von Bellingcat in „OSHIT: Seven Deadly Sins of Bad Open Source Research“ beschriebenen Problem des „fehlenden Kontexts zu einem beobachteten Phänomen“

Stündliche Veränderungen der Zahl der Starts in den gesamten USA

  • Verglichen wurde die Zahl der Starts in den USA nach Uhrzeit am 19. Juli, dem Tag der CrowdStrike-Störung, und am 12. Juli, dem Freitag der Vorwoche
  • In den Vergleich einbezogen wurden nicht nur kommerzielle Flüge, sondern auch Feuerwehrflugzeuge, Polizei, Militär und General Aviation
  • Auch der 18. Juli wurde geprüft, ähnelte dem Freitag der Vorwoche jedoch sehr stark, sodass der 12. Juli als wichtigster Vergleichsmaßstab beibehalten wurde
  • Zwischen etwa 06:00 und 13:00 Uhr ging die Zahl der Flüge leicht zurück, danach stieg sie leicht an
  • Kumuliert ab 04:00 lag die Zahl der Flüge am 19. Juli 2,6 % höher als im gleichen Zeitraum am Freitag der Vorwoche
  • Der größte Rückgang zeigte sich im Zeitraum 08:00 bis 09:00: gegenüber 378 Flügen am Freitag der Vorwoche sank die Zahl auf 261, also um 31 %

Auswirkungen unterschieden sich stark je nach Fluggesellschaft

  • Die Veränderungen bei den vier größten US-Fluggesellschaften fielen sehr unterschiedlich aus
    • Delta Air Lines: -1.087 Flüge, -46 %
    • United Airlines: -596 Flüge, -36 %
    • American Airlines: -376 Flüge, -16 %
    • Southwest Airlines: +101 Flüge, +3 %
  • Delta war am stärksten betroffen, gefolgt von United; bei American war der Rückgang geringer
  • Southwest erschien in der Auswertung als nicht betroffen
  • Die Erklärung, Southwest habe Windows 3.1 weiterverwendet und sei deshalb verschont geblieben, erschien in einem TechRadar-Artikel, wurde von OSNews jedoch als falsch behandelt
  • Ein Artikel von ABC News berichtet, Southwest sei nicht betroffen gewesen, weil das Unternehmen CrowdStrike nicht einsetzt

Erklärungen und Grenzen rund um Deltas verzögerte Erholung

  • Delta Air Lines strich nach dem CrowdStrike-Update über mehrere Tage hinweg Tausende Flüge, und die Wiederherstellung dauerte lange
  • Ein Artikel von ABC News berichtet, dass die Reaktion auf die Störung eine manuelle Korrektur jedes Computersystems erforderte; die Korrektur selbst sei in weniger als 10 Minuten möglich gewesen, doch wegen der großen Zahl digitaler Terminals bei Delta sei viel Personal nötig gewesen
  • Diese Erklärung allein reicht nur schwer aus, um den Unterschied zwischen Delta und anderen Fluggesellschaften vollständig zu erklären
  • Ein Reddit-Kommentar liefert eine unbestätigte Erklärung: Delta habe keinen angemessenen Disaster-Recovery-Plan und keinen IT-Business-Continuity-Plan gehabt, während United, American und Frontier ihre Pläne sofort umgesetzt und sich schnell erholt hätten
    • Der Kommentar behauptet, United und American seien ähnlich stark von Windows abhängig wie Delta
    • Er enthält außerdem die Aussage, American habe sich bis zum Ende des Freitags erholt und am Samstag den Normalbetrieb wieder aufgenommen, während United das Problem am Samstagmorgen gelöst und am Samstagnachmittag den regulären Flugplan wieder aufgenommen habe
    • Diese Erklärung stammt aus einem Reddit-Kommentar ohne Quellenangabe und ist mit dem Hinweis versehen, dass sie falsch sein könnte

Analysemethode auf Basis von ADS-B-Daten

  • Für die Analyse wurden rohe ADS-B-Daten von ADS-B Exchange verwendet
  • Mit eigenem Code wurden Starts von Flugzeugen erkannt, und ein Start wurde grob als ein Flug betrachtet
  • Die Zahl der Starts ist nicht exakt identisch mit der Zahl der Flüge, gilt für diesen Zweck aber als ausreichend nahe daran
  • Einige Fälle können untererfasst sein, etwa Flugzeuge, die von Flugplätzen außerhalb der Abdeckung von ADS-B Exchange gestartet sind
  • Diese Untererfassung tritt systematisch auf und kann daher für Vergleiche zwischen Zeiträumen genutzt werden; absolute Flugzahlen können zwar zu niedrig ausfallen, die prozentualen Veränderungen gelten jedoch als korrekt
  • Da bereits Code zur Starterkennung vorhanden war, wurde nicht neu die Zahl der in der Luft befindlichen Flugzeuge gezählt, sondern die Zahl der Starts verwendet

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-07-30
Hacker-News-Kommentare

  • Ich habe gelesen, dass bei Delta vor allem die Software zur Verfolgung der Crews stark betroffen war und die Wiederherstellung deshalb Zeit brauchte.
    Quelle: https://news.delta.com/update-delta-customers-ceo-ed-bastian
    Dort heißt es sinngemäß, dass „insbesondere eines unserer Tools zur Crew-Verfolgung betroffen war und die beispiellose Zahl an Änderungen, die durch den Systemausfall ausgelöst wurden, nicht effektiv verarbeiten konnte“.

    • Ein weiterer erschwerender Faktor ist, dass Deltas Hauptsitz und ein großer Teil des Flugbetriebsmusters an der Ostküste liegen. Da CrowdStrike die Fluggesellschaften nahezu zur gleichen Zeit traf, hatte Delta grob 1 bis 2 Stunden weniger Reaktionszeit, bevor die morgendliche Flugspitze begann.
      Bis zu dem Zeitpunkt, an dem die Systeme für den Morgenansturm gebraucht wurden, waren sie nicht bereit; daher ist Delta wahrscheinlich auf die manuelle Abwicklung als Business-Continuity-Strategie umgestiegen. Diese Methode hat Nachteile bei Durchsatz und Wiederherstellungszeit, und je länger dieser Zustand anhält, desto schlimmer wird es natürlich.
      Was sich beim Southwest-Vorfall und nun bei Delta zeigt, ist offenbar, dass große Fluggesellschaften nicht genug Personal oder Spielraum in der Planung haben, um im Business-Continuity-Modus durchzuhalten. Das sollte untersucht werden, und ich hoffe, dass finanzielle Sanktionen Verhalten verändern; aber das wird erst die Zeit zeigen.
    • Delta wurde nicht einfach nur „hart“ getroffen; im Hub-and-Spoke-Modell, das Delta nutzt, steigt die Schwierigkeit, Flüge neu zuzuweisen, exponentiell, sobald die Einsatzplanung an einem Freitag auch nur etwas nachlässt und dazu noch FAA-Arbeitszeitbeschränkungen kommen.
      Einfacher gesagt: Wenn die Planungssoftware am Freitagmorgen vier Stunden lang ausfällt, muss man Personal, das verspätete oder kranke Mitarbeiter ersetzt, von überallher „ausleihen“. Dadurch wird die Verfügbarkeit für die nächsten Flüge zerstört, und man hofft, dass das System bis dahin wieder läuft; wenn nicht, muss man für die Abendflüge erneut Personal ausleihen.
      Währenddessen wirken sich verspätete oder gestrichene Flüge auch auf die verbleibenden Arbeitszeiten der Mitarbeiter aus, die eigentlich verfügbar gewesen wären. Wenn diese Kette sich fortsetzt und man ins Wochenende kommt, muss man zunächst klären, wie viele Stunden jedes Crewmitglied tatsächlich erfasst hat, und es ist unklar, wie man sie rechtzeitig wieder an ihren Ausgangsort zurückbringt.
    • Im Radio habe ich gehört, dass weniger die Computer selbst als vielmehr Deltas Umgang mit der Situation das größere Problem war.
      Andere Airlines hätten Flüge verspätet, während Delta sie sofort gestrichen habe; dadurch seien mehr Menschen und Flugzeuge an den falschen Orten gestrandet, was die Wiederherstellung erschwert habe.

  • Ich frage mich, ob ein solider, aktueller und ausreichend geprobter Disaster-Recovery-Plan tatsächlich jemanden gerettet hat. Oder ob alle einfach ohne Absicherung arbeiten, egal ob IT Geld für Backups und Wiederherstellung ausgibt oder nicht.

    • Unsere Systeme waren in Ordnung. Wir gehen davon aus, dass irgendetwas ausfallen wird, einschließlich Software wie SentinelOne oder CrowdStrike, und haben Disaster-Recovery-Systeme, mit denen wir angeschlagen weiterarbeiten können.
      Wir haben Wiederherstellungssysteme, die auch in anderen Szenarien funktionieren würden, etwa wenn die Thames Barrier versagt und die Docklands verschwinden. Leider hatten einige externe Anbieter diese Haltung nicht.
    • Es hilft definitiv. Als an einem Standort versehentlich eine Glasfaserleitung gezogen wurde, machten HSRP und VRRP sowie andere SD-WAN-Funktionen den Unterschied. Ein Techniker im Rechenzentrum hat einen großen Fehler gemacht und uns sowie mindestens einen weiteren Kunden mit heruntergerissen.
      Es gab eindeutig eine kurze Störung, und etwa 10 Minuten lang hatten wir Probleme wie Seiten-Timeouts oder Prozessneustarts, aber im Großen und Ganzen haben die Sites ein Failover durchgeführt und konnten angeschlagen weiterlaufen, während wir die Ursache suchten.
      Das Rechenzentrum gab uns eine Service-Gutschrift von, ich glaube, 19 oder 21 Dollar und eine Entschuldigung. Der CEO war stinksauer und wollte klagen, aber daraus wurde nichts; der IT-Infrastrukturdirektor war uns im Stillen dankbar, dass wir ein Failover vorbereitet hatten, das größtenteils funktionierte.
    • Natürlich war Disaster-Recovery-Infrastruktur vorhanden. Mit CrowdStrike bereits auf allen Disaster-Recovery-Servern installiert.
    • Ich habe es nie direkt erlebt. Natürlich gibt es da einen Stichproben-Bias, aber ich würde gern Erfolgsgeschichten hören.
    • Kurz nachdem ich das gepostet hatte, hat jemand Folgendes veröffentlicht: https://news.ycombinator.com/item?id=41103486
      Daher scheint der Grund, warum Delta so stark zusammengebrochen ist, tatsächlich ein Mangel an Disaster Recovery gewesen zu sein.

  • Was ich an diesen Grafiken nicht verstehe, ist, warum die Zahl der Starts schon kurz vor der Verteilung des CrowdStrike-Updates relativ anstieg.
    Das sieht man im Gesamtgraphen sowie bei United, American und besonders Delta. Mir fällt kein Grund ein; es könnte einfach zufälliges Rauschen sein oder in der Vorwoche zur gleichen Zeit etwas Ungewöhnliches gegeben haben.

    • Einer der Gründe, warum sowohl absolute Flugzahlen als auch prozentuale Veränderungen in die Diagramme aufgenommen wurden, war, den größeren Kontext zu verstehen. Diese relativen Anstiege lagen direkt vor dem CrowdStrike-Ausfall, also etwa um Mitternacht US-Ostküstenzeit, als das Verkehrsaufkommen ohnehin schon sehr niedrig war.
      Daher kann ein Anstieg um 25 % bedeuten, dass landesweit in den USA in einer Stunde nur 12 zusätzliche Flüge gestartet sind. Es gibt eindeutig viel Rauschen, und absolute Werte zusammen mit prozentualen Veränderungen helfen dabei, ein Gefühl dafür zu bekommen, was passiert ist.
      Daten über zwei Tage reichen vermutlich aus, um die Hauptentwicklung der CrowdStrike-Auswirkungen zu erkennen, aber nicht, um jede Schwankung zu erklären.
    • Es wurde weithin berichtet, dass es einer der verkehrsreichsten Reisetage seit Langem war, und das hat das Problem noch verschärft.
    • Es wäre wohl nicht so schwierig gewesen, Daten über mehrere Wochen einzubeziehen, um zumindest ein Gefühl für die Schwankungsbreite zu bekommen.

  • Am interessantesten dürfte sein, wie sich die Klage, die Delta gegen Microsoft und CrowdStrike anstrengen will, entwickelt.
    https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

  • Inhalt des verlinkten Artikels: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
    Dort heißt es sinngemäß: „Um ein Gefühl dafür zu geben, wie alt dieses Betriebssystem ist: Windows 3.1 wurde ursprünglich 1992 veröffentlicht, Microsoft stellte den Support – mit Ausnahme der Embedded-Version – am 31. Dezember 2001 ein, und auch die Embedded-Version wurde 2008 offiziell abgekündigt.“
    Ich höre die Windows-3.1-Geschichte immer wieder. Sie stammt von TechRadar, und im Namen steht sogar „Pro“, also werden sie sie wohl kaum erfunden haben? Ganz glauben kann ich es trotzdem nicht. Kann jemand, der bei Southwest arbeitet, bestätigen, ob das zentrale Planungssystem auf Windows 3.1 läuft?

    • Das ist falsch [1] und ist inzwischen so etwas wie ein Lackmustest dafür geworden, ob Medien Behauptungen unabhängig überprüfen.
      Die Aussage, dass Southwest intern entwickelte Systeme wie SkySolver und Crew Web Access „historisch so aussehen, als wären sie für Windows 95 entworfen worden“, wurde zu „läuft unter Windows 3.1“ verdreht.
      [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
    • TechRadar zitierte Tom's Hardware, und Tom's Hardware zitierte einen einzelnen Tweet.
      Nicht einmal einen Tweet von Southwest, und auch nicht von jemandem, der nach eigener Aussage bei Southwest gearbeitet hat. Einfach nur einen Tweet.
    • Die Person, die das ursprünglich losgetreten hat, sagte selbst, es sei einfach ein „Troll-Tweet“ gewesen.
      https://x.com/ArtemR/status/1815408553131426179
    • Die Behauptung „Southwest nutzt Windows 3.1“ ist falsch und ein gutes Beispiel dafür, wie sich Unsinn im Internet verbreitet, wenn einigermaßen „vertrauenswürdige“ Organisationen ein falsches Gerücht wiederholen.
      https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
    • Ich habe Ende der 2000er bei SITA (https://en.wikipedia.org/wiki/SITA_(business_services_company)) gearbeitet. Dort gab es ein riesiges serielles X.25-Netzwerk, das Fluggesellschaften auf der ganzen Welt verband.
      Einige Kunden betrieben in ihren Rechenzentren auf alten AT-Systemen noch Windows 3.11, und wir kauften alte Computer auf craigslist und eBay, um Hardware für den Ausfallfall zu haben. Es würde mich nicht wundern, wenn solche Systeme heute noch im Einsatz wären.

  • Berlin Brandenburg hat es heftig erwischt. Als jemand, der sich oft über BER ärgert, überrascht es mich überhaupt nicht, dass er zu denen gehörte, die am schlimmsten betroffen waren.

    • Deutsche IT wird bei solchen Dingen häufig hart getroffen. Ausgenommen natürlich Fälle, die noch auf Papier laufen.
      Immerhin war es besser, dass sie es sofort über ein Banner ganz oben auf der Website kommuniziert haben. Das Terminbuchungssystem der Ausländerbehörde war über einen Monat lang offline, und allein zuzugeben, dass es so war, dauerte drei Wochen.
    • Ich bin immer noch erstaunt, dass Brandenburg tatsächlich eröffnet wurde.

  • Es sieht nach Klagen aus. Delta scheint sich bereits vorzubereiten.
    https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

    • Dort heißt es, man habe eine Kanzlei beauftragt, „um Entschädigung von Microsoft und CrowdStrike zu fordern“; Microsoft ins Visier zu nehmen wirkt hier aber fehlgeleitet.
      Was hat Microsoft mit einem Drittanbieter-Treiber zu tun, den die eigene IT-Abteilung installiert hat?

  • Weiß jemand, warum Minneapolis-St Paul deutlich früher als andere US-Flughäfen von massiven Stornierungen betroffen war?

  • So vermeidet man den Untergang: Southwest war nicht betroffen, weil es CrowdStrike nicht nutzt.

  • Meine Social-Media-Dienste haben bessere Backups und eine bessere Infrastruktur – ich verstehe wirklich nicht, warum das bei einem weltweit genutzten Betriebssystem nicht der Fall ist.

    • Weil IT das Kerngeschäft von Social-Media-Unternehmen ist. Sie kennen IT bis ins Detail und verstehen, was schiefgehen kann und wie man es abfedert.
      Das Kerngeschäft von Fluggesellschaften ist dagegen, Flugzeuge in die Luft zu bringen – und darin sind sie sehr gut. IT ist für sie aber eher ein extern eingekauftes Werkzeug, das sie nicht auf dieselbe Weise verstehen wie Social-Media-Unternehmen.
      Deshalb verlassen sie sich auf externe Auftragnehmer, die es richtig machen sollen; diese bekommen den Zuschlag oft, weil sie am billigsten sind oder Käufer davon überzeugen, dass ihr Service „Best Practice der Branche“ sei.
    • Ich würde nicht überschätzen, dass FAANG immun gegen Konfigurations-Updates ist, die die Welt lahmlegen können. Auch Facebook war 2021 für mehrere Stunden komplett offline, einschließlich des Zugangs der Engineers zu den Rechenzentren.
      https://news.ycombinator.com/item?id=28750894
      Und was die Formulierung „Infrastruktur im Vergleich zum Betriebssystem“ angeht: Die Qualität der Microsoft-Infrastruktur halte ich hier für nicht relevant.
    • Man muss nur die Gehälter, Arbeitsbedingungen und den Status von Tech-Jobs bei Social-Media-Unternehmen mit denen bei großen traditionellen Unternehmen wie Banken oder Fluggesellschaften vergleichen.
      Bei Ersteren ist die Bezahlung gut, und es gibt ein gewisses Maß an Status und politischem Kapital. Bei Letzteren ist sie niedrig, und Status oder politisches Kapital liegen oft ungefähr auf dem Niveau des Reinigungspersonals.
    • Meta ist eines der wertvollsten Unternehmen der Welt und hat die Ressourcen, sich in allem das Beste zu leisten. Mit einer Marktkapitalisierung von 1,28 Billionen US-Dollar ist es 30-mal größer als American, Delta und United zusammen.
      Der Gewinn lag im vergangenen Jahr ebenfalls bei 39 Milliarden US-Dollar, verglichen mit 7,8 Milliarden US-Dollar für die gesamte US-Luftfahrtbranche. Natürlich haben sie bessere Systeme.
    • Weil das eine in einem kontrollierbaren Rechenzentrum läuft und das andere auf nicht kontrollierbarer, nutzereigener Hardware ausgerollt wird.