1 Punkte von GN⁺ 2024-07-25 | 1 Kommentare | Auf WhatsApp teilen
  • CrowdStrike verschickte am 19. Juli als Entschuldigung und Zeichen des Dankes Uber-Eats-Geschenkkarten im Wert von 10 Dollar an Teammitglieder und Partner, die an der Bewältigung des Ausfalls beteiligt waren
  • Die E-Mail erkannte die durch den Ausfall entstandene zusätzliche Arbeit an, und im Vereinigten Königreich gab es Fälle mit Gutscheinen im Wert von £7.75
  • Einige Empfänger sahen am Mittwoch beim Einlösen des Gutscheins die Fehlermeldung, er sei „vom Aussteller storniert worden und nicht mehr gültig“, worauf CrowdStrike erklärte, Uber habe ihn wegen der hohen Einlösungsrate als Betrug markiert
  • Durch das fehlerhafte Update waren rund 8,5 Millionen Windows-Geräte nicht mehr nutzbar; es führte zu BSODs sowie zu Verspätungen an Flughäfen, OP-Abbrüchen in Krankenhäusern und zum Stillstand von Unternehmensabläufen
  • CrowdStrike erklärte, dass problematische Inhaltsdaten wegen eines Bugs im Update-Validierungsprozess die Validierung bestanden hätten, und CEO George Kurtz sowie CSO Shawn Henry entschuldigten sich öffentlich

Entschuldigung mit einem Uber-Eats-Gutschein über 10 Dollar

  • CrowdStrike verschickte nach dem fehlerhaften Update vom 19. Juli, das weltweit Millionen Computer beeinträchtigte, Uber-Eats-Geschenkkarten im Wert von 10 Dollar an Partner
  • Eine E-Mail, die ein Empfänger am Dienstag erhielt, erkannte die „zusätzliche Arbeit an, die durch den Vorfall vom 19. Juli entstanden ist“, und bot als Zeichen dafür eine Geschenkkarte an
  • Die E-Mail enthielt die Formulierung „Wir möchten unseren aufrichtigen Dank und unsere Entschuldigung für die Unannehmlichkeiten ausdrücken“ sowie den Satz „Den nächsten Kaffee oder Snack spät am Abend übernehmen wir“
  • Absender war eine CrowdStrike-E-Mail-Adresse im Namen von CrowdStrikes Chief Business Officer Daniel Bernard
  • Im Vereinigten Königreich lag der Gutscheinwert in einigen Fällen bei £7.75, was zum damaligen Wechselkurs etwa 10 Dollar entsprach

Fehler bei stornierten Gutscheinen und Erklärung

  • Einige Empfänger stellten am Mittwoch beim Einlösen des Gutscheins einen Stornierungsfehler fest
  • Auch eine von TechCrunch geprüfte Uber-Eats-Seite zeigte für diese Geschenkkarte die Fehlermeldung an, sie sei „vom Aussteller storniert worden und nicht mehr gültig“
  • CrowdStrike-Sprecher Kevin Benacci bestätigte, dass das Unternehmen die Geschenkkarten verschickt hatte
    • Die Empfänger waren Teammitglieder und Partner, die Kunden in dieser Situation unterstützten
    • Uber markierte sie wegen der hohen Einlösungsrate als Betrug

Ausmaß des Update-Ausfalls vom 19. Juli

  • Durch das fehlerhafte Update von CrowdStrike am Freitag waren laut Microsoft rund 8,5 Millionen Windows-Geräte nicht mehr nutzbar
  • Betroffene Computer blieben in einem BSOD-Zustand hängen, der angezeigt wird, wenn Windows abstürzt oder wegen eines schwerwiegenden Softwarefehlers nicht geladen werden kann
  • Der Ausfall führte zu Verzögerungen an Flughäfen in Amsterdam, Berlin, Dubai, London und in den gesamten USA
  • Mehrere Krankenhäuser stoppten Operationen, und auch zahlreiche Unternehmen weltweit waren in ihrer Arbeit lahmgelegt

Untersuchung der Ursache und öffentliche Entschuldigung

  • CrowdStrike veröffentlichte nach dem Ausfall regelmäßig Updates, um die Ursache der großflächigen Störung zu ermitteln
  • In einem Update vom Mittwoch erklärte das Unternehmen, dass fehlerhafter Code trotz problematischer Inhaltsdaten die Validierung passiert habe, weil es einen Bug im Prozess zur Prüfung der Einsatzbereitschaft für die Auslieferung an Kundengeräte gab
  • CEO George Kurtz erklärte, dass nichts wichtiger sei als das Vertrauen und die Zuversicht, die Kunden und Partner in CrowdStrike gesetzt hätten
  • Kurtz versprach, den genauen Ablauf des Vorfalls und Maßnahmen zur Verhinderung einer Wiederholung vollständig transparent offenzulegen
  • Chief Security Officer Shawn Henry schrieb auf LinkedIn: „Wir haben euch enttäuscht, und dafür entschuldigen wir uns zutiefst.“
  • Henry sagte, es seien die schwierigsten 48 Stunden in mehr als 12 Jahren gewesen, und das über Jahre aufgebaute Vertrauen sei innerhalb weniger Stunden stark erschüttert worden

1 Kommentare

 
GN⁺ 2024-07-25
Hacker-News-Kommentare
  • Einige Leute, die am Mittwoch über die Geschenkkarte gepostet hatten, berichteten, dass sie beim Einlösen einen Fehler erhielten, wonach sie storniert worden sei
    Als TechCrunch es überprüfte, zeigte auch die Uber-Eats-Seite den Fehler an, dass die Geschenkkarte vom Aussteller storniert wurde und nicht mehr gültig ist

    • Das zeigt, dass CrowdStrike nicht mehr zu retten ist
    • CrowdStrike, warum hast du das denn auch noch vermasselt?!
    • Verstehe ich richtig, dass man den mehrfach verwendbaren Code storniert hat, nachdem er öffentlich geteilt wurde? Wenn ja, dann ist das ziemlich vernünftig und im Vergleich dazu, Code zu verteilen, der die Computer von Kunden zerstört, oder dafür 10 Dollar als Entschädigung anzubieten, ein eher kleiner Fehler
    • CrowdStrike hat den Wert der Karte im Grunde auf null aktualisiert
  • Das ist definitiv schlimmer, als gar keine Geschenkkarte zu geben. Es ist beleidigend
    Wenn etwas Großes passiert ist, muss die Reaktion größer wirken als der Ärger darüber, aber 10 Dollar senden das Signal: „Wir halten das nicht für eine große Sache.“ Jetzt werden alle genau erklären, warum es doch eine große Sache ist, also schon bei den PR-Grundlagen gescheitert

    • „10 Dollar“ kommt eher nahe an: „Wir erkennen an, dass wir moralisch, ethisch und vielleicht auch rechtlich verpflichtet sind, den Schaden zu beheben und zu entschädigen, werden das aber nicht tun.“
    • „Es tut uns leid. Wir haben dieses Release wirklich monumental vermasselt. Tatsächlich haben wir uns gefragt, ob wir überhaupt weiterexistieren sollten oder ob wir nie hätten geboren werden dürfen. Vielleicht hätte all das nie existieren sollen.“
      Mehr als das kann ich mir im Moment kaum vorstellen, wenn man die Kritiker übertrumpfen wollte
    • Bei einem früheren Arbeitgeber hat unser Laden alle möglichen Umsatzrekorde gebrochen und andere Filialen in der Region klar abgehängt, und die Firma schickte dem gesamten Team eine einzige Geschenkkarte über 25 Dollar
      Nicht eine pro Person, sondern eine für ein Team von 8 Leuten, und der Jahresumsatz lag weit über 3 Millionen Dollar. Als Belohnung für gute Arbeit fühlte sich das wie eine Ohrfeige an
    • Noch schlimmer ist es vielleicht, wenn man dann tatsächlich versucht, sie zu benutzen, und sie nicht funktioniert
  • Das erinnert mich an etwas aus einem früheren Job. Nachdem ich dort ein paar Jahre gearbeitet hatte, stellte jemand aus HR oder Legal fest, dass die Programmierer nie eine Vereinbarung unterschrieben hatten, wonach „der von uns geschriebene Code Eigentum des Unternehmens ist“
    Also bat man uns, ein entsprechendes Dokument zu unterschreiben, und gab jedem einen Scheck über 20 Dollar. Ich war ohnehin davon ausgegangen, dass es Firmen-Code war, aber wenn sie ihn mir abkaufen wollten, fühlten sich 20 Dollar viel zu wenig an. Ich nahm die 20 Dollar trotzdem, unterschrieb und arbeitete weiter, aber als Erinnerung ist es bis heute komisch

    • Wahrscheinlich lief es so: Jeder Vertrag braucht eine Gegenleistung, sonst ist er kein gültiger Vertrag
      Es muss keine angemessene Gegenleistung sein, deshalb sind in vielen Verträgen Klauseln mit 1 Dollar oder Ähnlichem üblich. Vielleicht hat man es aus Nettigkeit auf 20 Dollar erhöht
      In Wirklichkeit gehörten die Arbeitsergebnisse wahrscheinlich ohnehin schon nach dem Prinzip work for hire dem Unternehmen, aber ein ausdrücklicher Vertrag beseitigt Unklarheiten. Unklarheiten können nicht nur bei Klagen, sondern auch bei Audits sehr teuer werden, und bei Due Diligence für Übernahmen, Investments oder Kredite taucht so etwas lästig wieder auf. Es sieht weniger danach aus, als hätte man den Code bezahlt, sondern eher danach, als hätte man die Compliance geradeziehen wollen, wahrscheinlich ausgelöst durch ein Audit für irgendeine Transaktion
    • US-Verträge sind im Allgemeinen ohne Gegenleistung nicht wirksam. Im Grunde muss jede Partei etwas von Wert erhalten
      https://www.nolo.com/legal-encyclopedia/consideration-every-...
      Bei Vertragsbitten mit kleinen Geldbeträgen sollte man genauer hinschauen
    • 2004 habe ich mit Freunden für eine Firma ein SMS-System gebaut, und die Firma wollte die Rechnung für den letzten Monat nicht bezahlen
      Begründung: Sie hätten das restliche Geld für eine individuelle Harley als Kunden-Gewinnspielpreis ausgegeben. Der CEO, CFO und die Anwälte der Firma trafen sich mit unseren Anwälten, und sie beharrten darauf, dass sie die letzte Zahlung auf keinen Fall leisten könnten. Als wir den Vertrag hervorholten und zeigten, dass es keine IP-Übertragungsklausel gab und ihnen der Code daher nicht gehörte, hieß es: „Wir brauchen einen Moment.“ Sie verließen den Raum, kamen zurück, und in der Mitte des Tisches lag ein Scheck über den ausstehenden Restbetrag
    • Das liegt an der Besonderheit von Verträgen. Hätten sie nur gesagt „Unterschreib das“ und nichts dafür gegeben, hätte man das vor Gericht anfechten können, und Gerichte haben oft entschieden, dass einseitige Verträge nicht gültig sind
      Zum Beispiel wenn ich das Copyright übertrage und die andere Seite nichts gibt. 20 Dollar sind eine „hinreichende Gegenleistung“, ähnlich wie wenn man in irgendeinem Geschäft etwas für 1 Dollar verkauft
  • Das erinnert mich an einen Fall, in dem einer Familie in einer Klage wegen fahrlässiger Tötung 4 Dollar Schadensersatz zugesprochen wurden. Das ist fast schlimmer, als gar nichts zu bekommen
    [0] https://hotair.com/jazz-shaw/2018/06/01/jury-awards-family-f...

    • Später wurde das auf 4 Cent reduziert und danach aufgehoben
      https://www.tcpalm.com/story/news/local/st-lucie-county/2022...
      Das waren alles Fälle mit stark gespaltenen Jurys, daher wirkte der niedrige Betrag in jedem Fall wie eine Art Kompromiss
    • Es könnte sogar noch schlimmer sein. Es bedeutet: „Wir geben zu, dass wir Mist gebaut haben und etwas schulden, aber es ist uns egal.“
      https://en.wikipedia.org/wiki/Peppercorn_(law)
    • Ich frage mich, wann Schätzungen zur Größenordnung der indirekten und direkten Todesfälle auftauchen werden
      Durch das hier sind mehrere 911-artige Dienste und Krankenhäuser ausgefallen, und es gab Berichte über ausgefallene radiologische Geräte oder Notaufnahmen, die wieder auf Papier und Stift zurückgreifen mussten
    • Zumindest ist die Domain der Seite selbsterklärend. Der Artikel dort neigt eher dazu, aus einer Kleinigkeit eine große Sache zu machen
      Zivilverfahren sind keine Wahr/Falsch-Entscheidungen wie Strafverfahren, und die Schadenssumme ist keine Aussage, dass ein Leben 4 Dollar wert sei, sondern eher, dass die Beklagten fast nichts falsch gemacht hätten
  • Es wirkt, als verstünden sie nicht nur nichts von Sicherheit, sondern auch nichts von Kundenbeziehungen. Und weil ihre Werbung dumm ist, offenbar auch nichts von Marketing
    Es ist schon komisch, dass der Name CrowdStrike wie eine Erntedrohne zur Tötung von Menschen klingt, aber inzwischen passt das sogar metaphorisch

    • Ich stelle mir vor, dass in 50 Jahren freigegebene Geheimdokumente enthüllen, CrowdStrike sei in Wirklichkeit ein von der CIA kontrolliertes Unternehmen gewesen, das ein erwartetes Botnet für Cyberkriegsangriffe betrieben und in Friedenszeiten die Tarnstory von automatischer Update-Sicherheitssoftware vorgeschoben habe
      Dann würden alle mit den Augen rollen und fragen, wie man darauf reinfallen konnte, wenn schon der Name so offensichtlich genau das bedeutet. Wahrscheinlich Unsinn, aber ehrlich gesagt frage ich mich wirklich, was dieser Name eigentlich soll
    • Hat es jemals eine Firma gegeben, die eine Menschenmenge so effektiv getroffen hat? Der Name ist perfekt
    • Inzwischen fangen die Leute an, sie ClownStrike zu nennen. Denn bisher haben sie sich eher wie eine Truppe Zirkusclowns verhalten als wie eine Organisation, die tatsächlich weiß, was sie tut
      Dieses taktlose Angebot verfestigt nur noch mehr den Eindruck, dass sie einfach bloß eine Clowntruppe sind
    • CrowdStrike ist fast schon lächerlich furchtbarer Name
  • Bei Uber Eats reicht das nicht mal für eine einzelne Mahlzeit, also ist es ein köstlich beleidigender Betrag

    • Nicht nur „fast zu wenig“. Als ich zuletzt einen Uber-Eats-Gutschein benutzt habe, kamen auf ein Essen für 15 Dollar so viele Gebühren drauf, dass ich trotz 30 Dollar Rabatt noch 35 Dollar hätte zahlen müssen. Ich habe storniert
    • Amazon-Geschenkkarten kommen immerhin fast echtem Geld gleich, aber wenn man die Preisaufschläge bei Essenslieferungen bedenkt, sind diese 10 Dollar eher etwa 4 Dollar wert
    • In britischem Geld sind das 7,75 Pfund, und Uber Eats ist so absurd teuer, dass ich es seit Jahren nicht mehr benutzt habe, aber vielleicht deckt das nicht einmal mehr die Liefergebühr
      Und ich frage mich sowieso, wer Essen haben will, das seit 20 Minuten nicht mehr wirklich essbar ist und hinten auf einem Motorrad durchgeschüttelt wurde. Fahrräder sieht man überall, aber solchen Leuten bin ich im echten Leben noch nie begegnet
  • Ein Mädchen, mit dem ich im Süden der USA zur Schule gegangen bin, arbeitet jetzt als Journalistin im Mittleren Westen. Sie wollte kurz in die Heimat fahren, um ihre Familie zu sehen, aber wegen des CrowdStrike-Ausfalls hat Delta ihren Flug gestrichen
    Ein paar Tage später wurde ihr Vater, der in der Juwelierhandlung der Familie in ihrer Heimatstadt arbeitete, von einem unzufriedenen Kunden ermordet. Ich kann mir nicht vorstellen, wie es sich anfühlen muss, durch einen bizarren technischen Zwischenfall die letzte Chance zu verlieren, den eigenen Vater noch einmal zu sehen

    • So etwas kann wirklich wegen allem Möglichen passieren. Man verpasst den Flug, weil der Bus zu spät kommt, oder der Flug verspätet sich wegen schlechten Wetters, oder man hat sich beim Essen gehen eine Lebensmittelvergiftung geholt und kann deshalb nicht fliegen
      Es hätte alles Mögliche die Ursache sein können. Es ist trotzdem sehr tragisch, aber manchmal ist das Leben wohl einfach so
    • Wenn sie jetzt Journalistin ist, könnte das in der Berichterstattung noch unangenehmer ausufern
      Wobei ClownStrike den Umfang des Vorfalls vielleicht gar nicht bemerkt, weil er so groß ist
  • Wenn man darüber nachdenkt: Jemand hat sich diese Idee ausgedacht, wahrscheinlich haben mehrere Leute sie abgesegnet, und dann hat noch jemand den Kauf dieser Karten oder den Versand an die Kunden eingerichtet
    Das heißt, an keiner Stelle dieses Prozesses hat jemand gedacht: „Das scheint keine angemessene Reaktion zu sein, das sollte ich nach oben eskalieren.“ Vielleicht, weil die Idee von noch weiter oben kam
    Uber-Eats-/DoorDash-/Grubhub-Karten sind ebenfalls wertlos, weil man für 10 Dollar nichts bekommt und noch 30 Dollar drauflegen muss. Wahrscheinlich kaufen Firmen genau deshalb so etwas, denn die tatsächlichen Kosten dürften deutlich unter 10 Dollar liegen
    Ein kompletter clown strike

  • Das muss doch ein Streich oder Witz sein, um CrowdStrike noch schlechter aussehen zu lassen. Vielleicht geht es um den Aktienkurs
    Dass ein börsennotiertes Unternehmen mit so vielen Nutzern etwas derart Dummes tut, ist nur schwer sofort zu glauben

  • Die nächstliegende Markenkatastrophe unserer Zeit dürfte die Deepwater-Horizon-Ölkatastrophe gewesen sein
    Damals hat BP seine Verbrauchermarke in den USA praktisch aufgegeben und alle BP-Tankstellen in Arco umbenannt, damals eine Tochtergesellschaft und eine „Billigmarke“. Später wurde ein großer Teil des Geschäfts verkauft oder verkleinert, um die Rechtskosten zu finanzieren
    Ich weiß nicht, welche anderen Optionen CrowdStrike jetzt noch hat. Die rechtliche Haftung, die das Unternehmen tragen muss, dürfte enorm sein, und der Ruf der Marke ist in einem Zustand, der schlimmer als wertlos ist

    • Gibt es irgendeine Grundlage für die rechtliche Haftung, die CrowdStrike tragen müsste?
      Über den Ruf liest man das nach jedem größeren Ärgernis, das echte wirtschaftliche Auswirkungen hatte, aber ich bezweifle, dass CrowdStrike durch diese Sache wertlos wird
      Microsoft wurde nach Code Red oder Slammer und den vielen Sicherheitsverletzungen Ende der 90er bis Anfang der 2000er auch nicht wertlos, und Apple wurde nach dem iPhone, bei dem man es auf eine bestimmte Weise halten musste, um telefonieren zu können, ebenfalls nicht wertlos. Toyota nicht nach den Problemen mit plötzlicher Beschleunigung, Facebook nicht nachdem es das Internet für einen Tag ruiniert hatte, Amazon nicht nach dem US-EAST-Ausfall, der allen einen ganzen Nachmittag verdorben hat, und Norfolk Southern nicht nach der Entgleisung in East Palestine. Und es gibt unzählige weitere Beispiele
      Dieses Problem hatte nicht einmal so große Auswirkungen wie viele dieser Vorfälle. Ein paar Computer waren ein paar Stunden außer Betrieb und haben Chaos verursacht, das war alles. Um ein Unternehmen oder einen Markennamen wirklich zu zerstören, braucht es viel mehr. Man muss sich nur ansehen, wie viele Menschen Comcast wählen, selbst dort, wo es Konkurrenz durch einen ordentlichen regionalen Breitbandanbieter gibt
    • Dass BP seine Verbrauchermarke in den USA aufgegeben hätte, scheint nicht lange angehalten zu haben
      Ich kann mich weder während dieser Katastrophe noch danach an eine Zeit ohne BP-Tankstellen erinnern