Umfassender Ausfall bei Cloudflare-Diensten

 (cloudflarestatus.com)
1 Punkte von GN⁺ 2025-06-13 | 1 Kommentare | Auf WhatsApp teilen
  • Am 12. Juni 2025 begannen bei Cloudflare Fehlschläge bei der Access-Authentifizierung und Probleme mit Zero Trust WARP-Verbindungen, woraufhin sich der Ausfall auf mehrere Kerndienste ausweitete; behoben wurde er um 21:31 UTC
  • Durch einen Ausfall eines Drittanbieterdienstes bei einer wichtigen Abhängigkeit ging Workers KV offline, wodurch Produkte, die darauf basierend Informationen speicherten und verteilten, in einer Kettenreaktion beeinträchtigt wurden
  • Der Wirkungsbereich war breit und umfasste Access, WARP, Browser Isolation, Browser Rendering, Workers KV, Workers AI, Stream, Turnstile, AI Gateway, AutoRAG sowie Teile des Dashboards
  • Um 20:32 UTC wurden die weltweiten Dienste rasch wiederhergestellt; WARP und Turnstile waren betriebsbereit, allerdings bestanden noch einige Restbeeinträchtigungen
  • Um 20:57 UTC waren alle Cloudflare-Dienste wieder voll betriebsfähig, und Cloudflare wechselte zur Phase der Stabilitätsprüfung anhand der Plattformmetriken

Verlauf des Ausfalls und Wiederherstellung

  • Um 18:19 UTC begann das Engineering-Team von Cloudflare mit der Untersuchung von Fehlschlägen bei der Access-Authentifizierung
    • Auch die Cloudflare Zero Trust WARP-Verbindungen waren betroffen
  • Danach traten bei mehreren Diensten intermittierende Fehler auf, und Cloudflare aktualisierte die Liste fortlaufend, während der Umfang der Auswirkungen je Dienst bewertet wurde
  • Um 19:12 UTC begannen sich einige Dienste zu erholen, doch durch Retry-Verarbeitung und das Wiederbefüllen von Caches konnten bei den betroffenen Diensten weiterhin intermittierende Fehler auftreten
  • Um 20:32 UTC schritt die Wiederherstellung der Dienste weltweit schnell voran
    • WARP und Turnstile waren betriebsbereit, es bestanden jedoch noch kleinere Restbeeinträchtigungen
    • Mit der Wiederherstellung des zentralen Workers-KV-Dienstes gingen auch abhängige Produkte wieder online
  • Um 20:57 UTC waren alle Cloudflare-Dienste wieder voll betriebsfähig, anschließend wurde zur Überwachung für die fortlaufende Stabilitätsprüfung übergegangen
  • Um 21:31 UTC wurde der Vorfall mit dem Status behoben abgeschlossen

Betroffene Dienste und Ursache

  • Der wichtige Cloudflare-Dienst Workers KV ging aufgrund eines Ausfalls eines Drittanbieterdienstes bei einer zentralen Abhängigkeit offline
  • Einige Cloudflare-Produkte, die den KV-Dienst zum Speichern und Verteilen von Informationen nutzen, waren dadurch nicht verfügbar
    • Access
    • WARP
    • Browser Isolation
    • Browser Rendering
    • SQLite-basierte Durable Objects innerhalb von Durable Objects
    • Workers KV
    • Realtime
    • Workers AI
    • Stream
    • Teile des Cloudflare Dashboards
    • Turnstile
    • AI Gateway
    • AutoRAG
  • Zur Liste der betroffenen Dienste gehörten in Cloudflare Sites and Services Access, Dashboard, Durable Objects, Realtime SFU, Realtime TURN Service, RealtimeKit, Stream, Waiting Room, Cloudflare One Client, Workers AI und Workers KV

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-06-13
Meinungen auf Hacker News
  • Wenn Workers KV, ein zentraler Dienst von Cloudflare, wegen eines Ausfalls eines Drittanbieterdienstes, von dem er maßgeblich abhängt, ausgefallen ist, dann sind manche Dienste faktisch von GCP abhängig
  • Auf https://downdetector.com/ sind Ausfälle bei mehreren großen Unternehmen wie Google, Cloudflare und AWS zu sehen
    Gerüchten zufolge steckt hinter all dem ein großes BGP-Routing-Problem
    • Klingt plausibel. Als ich früher etwas Ähnliches gesehen habe, meine ich mich zu erinnern, dass Traffic wegen BGP in Richtung Iran oder China geroutet wurde
    • Beim Internet Health Report steht keine Daten zur Anzeige
      [1] https://www.ihr.live/
    • Anthropic ist ebenfalls down oder hat Performance-Probleme. Zeit für einen Spaziergang
  • Auch GCP ist ausgefallen https://news.ycombinator.com/item?id=44260810
    • Ein merkwürdiger Zufall. Ich frage mich, ob Cloudflare GCP nutzt
  • Das dürfte ein Problem werden. Einen so breitflächigen Ausfall über so viele Dienste hinweg habe ich schon eine Weile nicht mehr gesehen
    • Da inzwischen alle ihre Eier in nur wenige Körbe legen, scheint so etwas ziemlich regelmäßig zu passieren
  • Hat jemand eine fehlerhafte BGP-Konfiguration ausgerollt?
    • Bei einem so großen und weitreichenden Ausfall müsste das fast der Hauptverdächtige sein
  • Bald kommt vermutlich ein riesiger Blogpost darüber, wie das Internet gerettet wurde ;)
    Derzeit down, aber als Referenz: https://blog.cloudflare.com/the-ddos-that-almost-broke-the-i...
  • Es scheint nicht nur Workers zu betreffen, sondern auch die Funktion des „Verify you are human“-Dialogs
    • Stimmt, KV ist ebenfalls kaputt. Jeder Worker, der von KV abhängt, wirft Exceptions
      Ins Dashboard kam ich noch, aber es war extrem langsam. Die Fehlerrate begann etwa ab 18:00 UTC deutlich zu steigen
      Update: Die CF-Statusseite räumt inzwischen ebenfalls einen breitflächigen Ausfall über mehrere Dienste ein: https://www.cloudflarestatus.com/incidents/25r9t0vz99rp
    • Ist tatsächlich so. Eine andere Frage ist, warum man solche Dialoge von Anfang an immer nur bei Cloudflare und nicht bei Akamai sieht
  • Der Titel wurde in „Broad Cloudflare service outages“ geändert
  • Ist es Zufall, dass in Tokio um 18:00 UTC geplante Wartungsarbeiten liefen und das Problem um 18:19 UTC begann?
    • Nicht damit verbunden. Cloudflare hat einige Dienste, die vom ausgefallenen GCP abhängen
      Trotzdem dürften die Leute, die an der Tokio-Wartung gearbeitet haben, kreidebleich geworden sein, weil sie dachten, es könnte an ihnen liegen
    • Das wird man wohl in der Postmortem-Analyse erfahren. Der einzige Vorteil solcher Ausfälle ist, dass man aus guten Artikeln darüber lernen und dabei etwas Unterhaltung haben kann
    • Auf dieser Seite gibt es immer geplante Wartungsarbeiten; meiner Erfahrung nach ist das also kein besonderes Signal