- Schon vor der massiven Störung im Juli 2024 hätten ehemalige Mitarbeiter die Führung auf knappe Zeitpläne, übermäßige Arbeitslast und zunehmende technische Probleme hingewiesen
- Viele der 24 interviewten Ex-Mitarbeiter sagen, das Management habe Geschwindigkeit vor Qualität priorisiert, und einige Beschäftigte hätten Coding- und Betriebsaufgaben ohne ausreichende Schulung übernommen
- CrowdStrike weist die Schilderungen der Ex-Mitarbeiter weitgehend zurück und entgegnet, die Informationen stammten von „einigen unzufriedenen ehemaligen Mitarbeitern, die wegen klarer Verstöße gegen Unternehmensrichtlinien entlassen wurden“
- Der Fehler im Falcon-Sensor-Update im Juli legte 8,5 Millionen Computer lahm, verursachte bei Fortune-500-Unternehmen Schäden von bis zu 5,4 Milliarden Dollar und ließ CrowdStrike in dem Quartal voraussichtlich rund 60 Millionen Dollar an Verträgen entgehen
- Ein direkter Zusammenhang zwischen langfristigen Qualitäts- und Betriebsproblemen und der Störung im Juli ist nicht bestätigt, doch CrowdStrike sah sich danach mit gesenkten Umsatz- und Gewinnprognosen, Aussagen vor dem Kongress und Klagedruck konfrontiert
Qualitätsbedenken schon lange vor der Störung
- Ehemalige Software-Ingenieure von CrowdStrike sagen, sie hätten das Management schon mehr als ein Jahr vor der massiven Störung im Juli auf knappe Deadlines, übermäßige Arbeitslast und zunehmende technische Probleme hingewiesen
- Laut Ex-Mitarbeitern wurden diese Bedenken wiederholt in Meetings, E-Mails und Exit-Interviews vorgebracht
- Jeff Gardner, ehemaliger Senior User Experience Designer, sagte, „Geschwindigkeit war das Wichtigste“, und Qualitätskontrolle war kein Teil des Prozesses oder der Gespräche
- Ein ehemaliger Senior Manager sagte, Mitarbeiter hätten in mehreren Meetings gewarnt, dass die Veröffentlichung von „Produkten, die wir nicht supporten können“, Kunden zum „Scheitern“ bringen könne
Widersprüchliche Aussagen ehemaliger Mitarbeiter und Reaktion des Unternehmens
- Insgesamt sprach Semafor mit 24 ehemaligen Mitarbeitern
- 10 sagten, sie seien entlassen oder im Rahmen von Stellenabbau freigesetzt worden
- 14 sagten, sie hätten das Unternehmen freiwillig verlassen
- Eine Person war bis zum Sommer 2024 noch im Unternehmen
- Drei Ex-Mitarbeiter stimmen den Schilderungen anderer nicht zu
- Joey Victorino, der 2023 ausschied, sagte, CrowdStrike sei „bei allem, was es tat, sehr sorgfältig“ gewesen
- Das Unternehmen weist große Teile der Berichterstattung zurück
- Die Informationen stammten von „einigen unzufriedenen ehemaligen Mitarbeitern, die wegen klarer Verstöße gegen Unternehmensrichtlinien entlassen wurden“
- Man führe strenge Tests und Qualitätskontrollen durch, um die Belastbarkeit der Produkte sicherzustellen, und weise gegenteilige Darstellungen vollständig zurück
Die Juli-Störung nach schnellem Wachstum
- CrowdStrike wurde 2011 gegründet und wuchs mit der Einführung des Falcon-Antivirenpakets 2013 zu einem wichtigen Unternehmen der Cybersecurity-Branche
- Seit dem Börsengang 2019 hat das Unternehmen mehrere tausend Mitarbeiter eingestellt, und bis zum Ende des Geschäftsjahres 2024 stieg der Umsatz um mehr als 1.000 %
- Ein fehlerhaftes Software-Update im Juli 2024 führte zu einem Vorfall, der die größte IT-Störung der Geschichte sein könnte
- 8,5 Millionen Computer fielen aus
- Die Schäden bei Fortune-500-Unternehmen könnten bis zu 5,4 Milliarden Dollar betragen
- Flugreisende strandeten an Flughäfen, der Zugang zum Online-Banking war blockiert, und Notrufzentralen waren offline
- CFO Burt Podbere sagte bei der Ergebnisvorlage am 28. August, dass Verträge im Wert von rund 60 Millionen Dollar, deren Abschluss für das am 31. Juli endende Quartal erwartet worden war, nicht zustande kamen
- CEO George Kurtz sagte, man werde das Ausmaß des Vorfalls vom 19. Juli nicht vergessen und dafür sorgen, dass so etwas nie wieder passiert
Tests, Kundendaten und der Fall LogScale
- Einige ehemalige Mitarbeiter sagen, bei der Anpassung an das Tempo von Produktveröffentlichungen seien Prüfungen der Softwarequalität mitunter überhastet erfolgt
- Preston Sego, der von 2019 bis 2023 dort arbeitete, sagte, es sei manchmal schwer gewesen, andere davon zu überzeugen, ausreichend zu testen
- Zu seinen Aufgaben gehörte es, vor der Auslieferung von Code-Änderungen an Kunden zu prüfen, ob Tests von User-Experience-Entwicklern Fehler korrekt meldeten
- Sego sagte, er sei im Februar 2023 als „insider threat“ entlassen worden, nachdem er in internem Slack die Rückkehr-ins-Büro-Politik kritisiert hatte
- CrowdStrike sagte, man äußere sich nicht zu einzelnen Personalangelegenheiten
- In der Professional-Services-Abteilung gab es drei Beinahe-Vorfälle, bei denen vertrauliche Informationen eines Kunden in den Ordner eines anderen Kunden hochgeladen worden wären
- CrowdStrike bestätigte den Vorfall und sagte, die Ursache sei ein Fehler bei manueller Dateneingabe gewesen
- Es habe sich um Basisinformationen wie Hostnamen, IP-Adressen und Domainnamen gehandelt
- Inzwischen führe man Prüfungen durch, damit vertrauliche Kundendaten nicht falsch übertragen werden
- Mehrere Ex-Mitarbeiter sagen, es habe auch bei Falcon LogScale Probleme gegeben
- Einer erinnerte sich, dass durch ein fehlerhaftes Update Echtzeitwarnungen über potenziell bösartige Aktivitäten mindestens zweimal kurzzeitig ausfielen
- Einige Ingenieure hätten das in internen Meetings auf knappe Zeitpläne zurückgeführt
- CrowdStrike weist diesen Fall zurück und sagt, man kenne kein „bad update“, durch das Kunden keine Warnungen erhalten hätten
- Das Unternehmen sagt außerdem, LogScale sei kein Dienst, der dafür ausgelegt sei, Kunden in „Echtzeit“ über potenzielle Datenschutzverletzungen zu informieren
Kontroverse um den Start von Falcon OverWatch Cloud Threat Hunting
- Ein ehemaliger Mitarbeiter sagte, Falcon OverWatch Cloud Threat Hunting, das 2022 eingeführt wurde, sei überhastet gestartet worden
- Der Dienst dient dazu, dass Sicherheitsexperten von CrowdStrike in Cloud-Umgebungen von Kunden wie Amazon Web Services nach verdächtigem Verhalten suchen, das auf Kompromittierungen hindeuten könnte
- Ein ehemaliger Senior Manager, der an dem Projekt beteiligt war, sagte, eine Aufgabe, die normalerweise ein Jahr dauere, sei Ingenieuren und Threat Huntern in nur zwei Monaten übertragen worden
- Er sagte, zum Start hätten den Threat Huntern interne Tools gefehlt, die nötig gewesen wären, um Cloud-Systeme der Kunden vollständig zu überwachen, und bis zum vergangenen Sommer, also etwa ein Jahr nach dem Start, hätten sie auf Warnungen bestehender Sicherheitssysteme reagiert
- Derselbe ehemalige Senior Manager sagte, das Unternehmen habe Mitarbeiter, die für die Überwachung von Kundensystemen wie Laptops und Desktops geschult waren, in die Erkennung von Cloud-Bedrohungen versetzt, ohne neue Schulungen verpflichtend zu machen
- CrowdStrike bestätigte, dass statt der Einstellung eines neuen Teams von „cloud threat hunters“ bestehende Ingenieure eingesetzt wurden
- Da es sich um einen neuen Dienst gehandelt habe, habe es keine erfahrenen „cloud threat hunters“ gegeben, und es sei unmöglich gewesen, Personen mit spezieller Schulung für ein Feld einzustellen, das vor der Entwicklung durch CrowdStrike noch nicht existiert habe
- Verpflichtende neue Schulungen habe es zwar nicht gegeben, sie seien aber interessierten Mitarbeitern angeboten worden
- Zudem erhielten Mitarbeiter regelmäßig Schulungen passend zu ihren Aufgaben
- Das SANS Institute bietet bereits seit 2020, also zwei Jahre vor dem Start des CrowdStrike-Dienstes, Schulungen und Vorträge zu Cloud-Sicherheit an
- CrowdStrike sagt, der OverWatch-Dienst habe stets wie vorgesehen funktioniert, und weist die Darstellung zurück, das Projekt sei überhastet gewesen oder den Threat Huntern hätten nötige Tools gefehlt
Alter Code und steigende Arbeitslast
- Sego sagte, Code, der zur schnellen Umsetzung von Projekten provisorisch geschrieben wurde, sei später oft nicht verbessert worden
- Ein ehemaliger Senior Engineer sagte, er habe mehr als 20 Mal darum gebeten, Zeit für die Überarbeitung alten Codes zu bekommen, sei damit aber nicht durchgedrungen
- CrowdStrike entgegnet, Coding sei ein iterativer Prozess, und das Ausrollen sowie die kontinuierliche Verbesserung von Code auf Basis realer Produkterfahrungen sei in der Softwarebranche üblich
- Ex-Mitarbeiter nannten auch die steigende Arbeitslast als Grund dafür, dass alter Code nicht verbessert wurde
- Einige sagten, nach Stellenabbau und organisatorischen Veränderungen hätten sie mehr Arbeit übernehmen müssen
- CrowdStrike lehnte eine Stellungnahme zu Entlassungen ab und sagte, die Mitarbeiterzahl sei jedes Jahr stetig gestiegen
- Die Ausgaben für Forschung und Entwicklung stiegen von 371,3 Millionen Dollar im Geschäftsjahr 2022 auf 768,5 Millionen Dollar im Geschäftsjahr 2024, was laut Unternehmen größtenteils auf die gestiegene Mitarbeiterzahl zurückzuführen sei
- Das Unternehmen erklärte, man nehme vielfältiges Feedback aus den Teams auf, bewerte es und setze es um, mit Fokus auf eine leistungsstarke Unternehmenskultur
- Zudem verwies CrowdStrike darauf, in den vergangenen vier Jahren jeweils zu den Fortune 100 Best Companies to Work For gezählt zu haben
Kosten und Nachwirkungen nach der Störung
- CrowdStrike führte die Ursache der Juli-Störung auf einen Fehler im Falcon-Sensor-Update zurück
- Durch den Vorfall verlor das Unternehmen an der Börse mehr als 21 Milliarden Dollar an Marktwert
- Es folgten mehrere Klagen, und Delta Air Lines bezifferte nach Tausenden Flugausfällen seine Verluste auf 550 Millionen Dollar und brachte eine Klage ins Spiel
- Senior Vice President Adam Meyers soll im September 2024 vor dem Kongress aussagen
- CrowdStrike-Präsident Michael Sentonas nahm im August auf einer Hacker-Konferenz den Preis „Most Epic Fail“ entgegen und sagte, es sei sehr wichtig, es anzuerkennen, wenn etwas katastrophal schiefläuft
- Ein Zusammenhang zwischen den von Ex-Mitarbeitern geschilderten langfristigen Problemen und der Störung im Juli ist bislang nicht bestätigt
1 Kommentare
Hacker-News-Kommentare
Ein auf unzufriedene ehemalige Mitarbeiter gestützter Artikel nach dem Motto „Geschwindigkeit war das Wichtigste, und Qualitätskontrolle war weder Teil unseres Prozesses noch unserer Gespräche“ wirkt ungefähr so wertvoll wie GrubHub-Geschenkkarten als Entschuldigung.
Ich halte auch nicht viel von CrowdStrike, aber wenn jemand einen Groll hat und die Chance bekommt, Aufmerksamkeit zu erhalten, kann praktisch jeder alles Mögliche sagen. Außerdem war diese Person Designer und vermutlich nicht direkt an der Qualitätskontrolle beteiligt.
Im Artikel steht auch, dass von 24 ehemaligen Mitarbeitern 10 entlassen oder im Zuge von Stellenabbau gegangen sind, 14 freiwillig gekündigt haben und 3 anderen Aussagen nicht zugestimmt haben. Joey Victorino sagte, CrowdStrike sei „bei allem akribisch“ gewesen, also ist am Ende kaum etwas sicher.
Es wurde ohne gestaffelte Ausrollung direkt in Produktionsumgebungen weltweit gepusht, und es gab nicht einmal ein Labor, in dem neuer Code tatsächlich installiert und ausgeführt wurde. Man kann das also in einem Kontext sehen, in dem Rauch zu sehen ist und mehrere Leute sagen, dass es gebrannt hat.
Im Gegenteil: Solche Mitarbeiter sprechen die internen Zustände oft ehrlicher an, und auch ohne in QA oder QC gearbeitet zu haben, kann man die Stimmung im Unternehmen kennen. Solche Informationen sind glaubwürdiger als Aussagen von Leuten, die dem Unternehmen nach dem Mund reden.
Man kann behaupten, Semafor arbeite schlecht oder böswillig, aber das ist kein leichtes Argument, wenn man sieht, dass im zitierten Abschnitt sogar Gegenbelege mitgeliefert werden.
Wenn man es von einem einzelnen ehemaligen Mitarbeiter hört, kann es eine persönliche Sache sein, aber wenn mehrere Menschen dieselbe Beschwerde äußern, sollte man das viel ernster nehmen.
Unzufriedene Menschen hinterlassen eher Bewertungen, und Menschen, die CrowdStrike verlassen haben, hatten vermutlich ebenfalls eher Unzufriedenheit. Das sind verzerrte Daten, aber dennoch nützliche Daten.
Es überrascht mich, wie leichtfertig die Kommentare hier das abtun. Ehemalige Mitarbeiter, darunter Ingenieure, sagen, dass die gefährliche Entwicklungskultur ihres früheren Unternehmens zu einem weltweiten Großausfall und zu früheren Ausfällen beigetragen hat.
Solche Aussagen sollte man als glaubwürdig oder zumindest als nützliche Information betrachten, aber viele scheinen nur den UX-Designer anzugreifen, der sagte: „Qualitätskontrolle war kein Teil unseres Prozesses.“
Vermutlich projizieren viele auf den Satz „Release-Geschwindigkeit ist alles“, also auf „move fast and break things“. Denn sie kennen das Hochgefühl von Code-Deployments, Firefighting, sichtbarer Wirkung und einer Kultur, in der man die Aufräumarbeit dem nächsten Ingenieur oder Manager überlässt.
Aus der Perspektive der Nullzins-Ära konnte ein solcher Prozessfehler eher wie ein Feature als wie ein Bug aussehen. Die Betonung von „Qualität“ mochte wie eine lästige Hürde erscheinen, die den Spaß an der Arbeit auf Kundengeld stört.
Früher bestellte ein Kunde einmal eine maßgeschneiderte Hochsicherheitslösung auf Basis eines Kernel-Treibers. Auf Offline-Computern lief eine wichtige Datenbank, und jeder Systemaufruf musste verfolgt werden, sodass bei Datenänderungen exakt protokolliert und gemeldet wurde, was geändert wurde. Backups durften das System niemals verlassen, und noch vor der Installation vor Ort waren Sicherheitsverfahren vorgeschrieben, etwa die Prüfung, ob Windows ntdll-Hooking vorlag. Ausnahmen, Hänger und Deadlocks waren inakzeptabel, und schon ein einziger verpasster Systemaufruf wäre katastrophal gewesen.
Deshalb wurde bei jeder Änderung am Treibercode nach einem festgelegten Verfahren auf sieben Bürorechnern mit unterschiedlicher Hardware erneut getestet, und der letzte Test vor dem Release war noch umfangreicher.
Nach diesem Maßstab wirkt CrowdStrike fast völlig amateurhaft. Sie haben auch nichts zur Security-Community beigetragen, und ihr Forschungsniveau wirkt eher wie das eines Junior Security Researchers. Auch ihre offensichtliche Übertreibung und ihr Hang zu vorschnellen Schlussfolgerungen kommen in der Community nicht gut an.
Man sollte sich echte Fachfirmen wie Kaspersky und Checkpoint ansehen. Sie haben nicht nur nachweislich erstklassige Sicherheitslösungen gebaut, sondern der Community auch kostenlos wertvolle Forschung geliefert, etwa indem sie Zero-Days fanden und meldeten, bevor diese ausgenutzt wurden. CrowdStrike verdient Kritik.
Unter den Reorganisationsstrategien, die ich über Jahre immer wieder gesehen habe, ist mir besonders die Aussage im Gedächtnis geblieben, man wolle „alle Ingenieure so ausbilden, dass sie in jedem Bereich sofort austauschbar sind“. Das ist völliger Stillstand.
Wichtige Software-Infrastruktur sollte wie wichtige physische Infrastruktur reguliert werden. Genauso wie man bei Menschen, die Gebäude und Brücken bauen, nicht einfach darauf vertraut, dass sie „schon das Richtige tun“, sondern Regulierung und Inspektionen vorschreibt.
Wenn beim Ausfall von Software weltweit Millionen Menschen festsitzen, dann ist das kritische Infrastruktur. Diesmal war es ein gewöhnlicher „Unfall“, aber in einem künftigen Kriegsszenario, in dem Bedrohungsakteure versuchen, Systeme zum Einsturz zu bringen, könnte es noch viel schwerwiegender werden.
In sicherheitskritischen Bereichen muss man strenger sein als anderswo, und man darf das nicht den selbstregulierten QA-Prozessen gewinnorientierter Unternehmen überlassen. Bevor man den großen Knopf drückt, braucht es mehr Prüfung.
Ergänzend: Der Satz in Anführungszeichen ist nicht meine Aussage, sondern ein Einwand, den ich von anderen höre, wenn ich das Thema Regulierung anspreche.
Software wird fast immer billig und schnell gebaut. Sogar bei der NASA sind wegen Softwarefehlern schon Raketen im Flug explodiert.
Gestern Morgen erfuhr ich, dass jemand, den ich kannte, gerade gestorben war, und dass die Beerdigung für nächste Woche angesetzt wurde.
Die Person war über einen Monat im Krankenhaus gewesen und hatte nur wenige Tage nach der Rückkehr nach Hause einen Schlaganfall erlitten.
Dann fiel mir ein, dass eine eigentlich wichtige Operation wegen des CrowdStrike-Ausfalls verschoben worden war. Es dauerte dann noch Wochen, bis die Operation neu terminiert und durchgeführt werden konnte.
Die Operation fand an diesem Tag statt, und ich frage mich ständig, ob das Ergebnis anders gewesen wäre, wenn die Person unter all dem Stress wegen ihres Zustands und ihrer Zukunft nicht noch weitere Wochen im Krankenhaus hätte bleiben müssen.
Es ist nur einer von Millionen Schäden, die durch diesen Vorfall entstanden sein dürften, wird aber nicht wirklich „mitgerechnet“, weil er sich nicht in Geld ausdrücken lässt.
Wenn man zum Beispiel einem dreijährigen Kind gegen das Knie tritt und es dadurch lebenslang behindert bleibt, wird man natürlich als Monster bezeichnet. Wenn man aber eine Bildungsreform unterstützt, die die amerikanische Gebärdensprache aus den Schulen verdrängt und dadurch schwerhörige oder gehörlose Kinder ohne Sprache in ihrer Entwicklungsphase aufwachsen lässt, gibt es kaum Worte, um das Ausmaß und den kumulierten Schaden solcher Handlungen zu beschreiben.
Mit verteiltem Schaden können wir nicht gut umgehen. Ein großer Grund dafür ist, dass wir die Gesamtheit der konkreten Schäden, die dadurch entstehen, nicht sehen und auch nicht sehen können.
Ich finde es fragwürdig, dass die als Expertin für Engineering-Prozesse zitierte Person eine Senior UX Designerin ist. Es wirkt nicht so, als wäre sie dem Deployment-Prozess für Kernel-Patches besonders nah gewesen.
Ich will das Qualitätsmanagement von CrowdStrike nicht rechtfertigen, aber in vielen Softwareentwicklungsumgebungen, die ich erlebt habe, fehlte Qualitätsmanagement ebenfalls ziemlich oft.
Aus dem Artikel könnte man den Eindruck gewinnen, dass alle Softwareprojekte gut getestet werden, aber meiner Erfahrung nach werden die meisten hastig veröffentlicht.
Bei Unterhaltungssoftware oder weniger wichtiger Business-Software mag das noch angehen, aber für wichtige Software ist es eine sehr schlechte Idee. Leider hat sich diese „move fast“-Haltung auch in Bereiche ausgebreitet, in denen sie nichts zu suchen hat.
Die Branche wirkt auf mich wie ein Ort, an dem ein paar kompetente Leute die Systeme irgendwie am Laufen halten, während überall sonst schockierende technische Inkompetenz sichtbar wird. Das Management priorisiert bei jeder Gelegenheit kurzfristige Kostensenkung vor Qualität, und das führt zu schrecklicher technischer Schuld und demotivierten, überarbeiteten Mitarbeitenden. Wenn man Qualitätsprobleme anspricht, wird man dafür abgestraft, also hören die Leute irgendwann auf, sich um Qualität zu kümmern.
Einige ehemalige Mitarbeitende könnten unzufrieden sein und CrowdStrike absichtlich schlecht darstellen. Das passiert in jeder Firma.
Aber CrowdStrike hat im Moment null Glaubwürdigkeit. Ich glaube kein einziges Wort von dem, was sie sagen.
Alles, was über CrowdStrike bekannt ist, erinnert mich an Knight Capital. Es ist dieser Verlauf, bei dem kleine kulturelle Probleme in völlige Funktionsunfähigkeit übergehen und am Ende zu einem Bug führen, der das Unternehmen zugrunde richtet.
So viel hatte das Handelsproblem, das am Mittwochmorgen für Verwerfungen am Aktienmarkt sorgte, bereits gekostet, und Knight Capital Group gab bekannt, 440 Millionen Dollar verloren zu haben, als das Unternehmen alle Aktien verkaufte, die es wegen eines Computerfehlers versehentlich gekauft hatte.
„Fehler“ also …
https://en.wikipedia.org/wiki/Therac-25
In einem früheren Unternehmen drängten einige Kunden und die Haftpflichtversicherung aus Compliance-Gründen stark auf die Einführung von CrowdStrike. Besonders BCG verlangte den Einsatz von CrowdStrike.
Dagegen zu argumentieren und von CrowdStrike abzuraten, war wirklich ein harter Kampf. Am Ende war ich erfolgreich, aber es kostete viele Meetings und viel Zeit, um die verschiedenen Stakeholder zu überzeugen. Viele hätten vermutlich einfach nachgegeben und es eingeführt.
Ich habe in einem Team gearbeitet, das den CrowdStrike-Agenten in einer Organisation ausgerollt hat, und eines der größten Probleme war, dass der Daemon eine enorme Menge an Logs erzeugte, ohne dass es eine Konfiguration gab, um das zu stoppen oder zu verringern.