- Ein AT&T-Mobilfunkausfall am Donnerstag in den USA beeinträchtigte Telefonate, SMS und einige 911-Notrufe; AT&T teilte mit, dass der Dienst für alle betroffenen Kunden kurz nach 15 Uhr Eastern Time wiederhergestellt war
- Einer ersten Prüfung zufolge war die Ursache kein Cyberangriff, sondern die Anwendung und Ausführung eines fehlerhaften Prozesses im Zuge einer Netzwerkerweiterung; AT&T will die Bewertung fortsetzen
- Meldungen bei Downdetector nahmen gegen 4 Uhr Eastern Time zu, erreichten gegen 8:30 Uhr mit rund 74.000 ihren Höhepunkt und lagen gegen Mittag noch bei etwa 58.000
- Auf betroffenen Geräten verschwanden die Signalbalken oder es erschien SOS; Kunden konnten telefonieren, wenn sie Wi-Fi Calling aktivierten
- Auch Verizon und T-Mobile verzeichneten jeweils Tausende Meldungen, doch beide Unternehmen hielten es für wahrscheinlich, dass diese Probleme beim Verbindungsaufbau zu Nutzern anderer Netze widerspiegelten
AT&T-Ausfall und Wiederherstellung
- Am Donnerstag erlebten Tausende AT&T-Nutzer in den USA einen Mobilfunkausfall, der Telefonate und SMS beeinträchtigte
- AT&T teilte mit, dass der Dienst für alle betroffenen Kunden kurz nach 15 Uhr Eastern Time wiederhergestellt war
- Das Unternehmen erklärte, die Aufrechterhaltung der Kundenverbindungen habe oberste Priorität, und man ergreife Maßnahmen, damit Kunden so etwas nicht erneut erleben
- AT&T richtete eine Website für Systemupdates ein, nannte jedoch nicht, wie viele Kunden von der Störung am Donnerstag betroffen waren
Ursache der Störung und Reaktion der Regulierungsbehörden
- In der ersten Prüfung von AT&T am späten Donnerstag wurde die Ursache der Störung als Anwendung und Ausführung eines fehlerhaften Prozesses im Zuge der Netzwerkerweiterung identifiziert
- In derselben Erklärung wurde bestätigt, dass diese Störung kein Cyberangriff war
- Die FCC erklärte auf X, sie untersuche den Vorfall und stehe mit AT&T sowie den Sicherheitsbehörden in Kontakt
- AT&T will die Bewertung der Störung fortsetzen
Verlauf der Downdetector-Meldungen und Aktie
- Laut Downdetector.com begannen die Störungsmeldungen gegen 4 Uhr Eastern Time zuzunehmen
- Die Zahl der Meldungen erreichte gegen 8:30 Uhr mit etwa 74.000 ihren Höchststand
- Gegen Mittag wurden rund 58.000 Störungsmeldungen gemeldet
- Die AT&T-Aktie schloss am Donnerstag mit einem Minus von 2,41 %
Anzeige auf Geräten und Auswirkungen auf 911
- Auf von der Störung betroffenen Smartphones fehlten oben rechts auf dem Display die Signalbalken oder es wurde SOS angezeigt
- Kunden konnten telefonieren, wenn sie Wi-Fi Calling aktivierten
- Das San Francisco Fire Department teilte in einem X-Beitrag mit, dass AT&T-Mobilfunkkunden keine Anrufe tätigen oder empfangen könnten, einschließlich 911-Notrufen
- Atlantas Bürgermeister Andre Dickens erklärte, die Stadt habe 911-Anrufe empfangen und tätigen können, lokale AT&T-Kunden hätten jedoch gemeldet, dass ihre Smartphones im SOS-Modus seien
- Die Massachusetts State Police bat darum, nicht bei 911-Zentralen anzurufen, nur um zu prüfen, ob der 911-Dienst per Mobiltelefon funktioniert, da dort entsprechende Anrufe eingingen
- Wenn ein Nicht-Notruf an eine normale Nummer erfolgreich getätigt werden könne, funktioniere auch der 911-Dienst
Meldungen bei Verizon und T-Mobile
- Laut Downdetector meldeten bis 10 Uhr Eastern Time auch Nutzer von Verizon und T-Mobile jeweils Tausende Störungen
- Beide Unternehmen hielten es für wahrscheinlich, dass diese Meldungen Schwierigkeiten beim Versuch widerspiegelten, Verbindungen zu Nutzern anderer Netze herzustellen
- T-Mobile erklärte in einer E-Mail-Stellungnahme, Downdetector spiegle wahrscheinlich Probleme wider, die Kunden beim Verbindungsaufbau zu Nutzern anderer Netze hatten
1 Kommentare
Hacker-News-Kommentare
Das ist ein gravierender Architekturfehler.
Wenn man sich die gesamte Geschichte elektromechanischer Vermittlung im Bell System ansieht, war – abgesehen von Naturkatastrophen oder einem großen Brand in NYC – keine Vermittlungsstelle länger als 30 Minuten außer Betrieb.
Das AT&T-Long-Lines-System der 1960er- und 1970er-Jahre hatte zehn regionale Zentren, die alle unabhängig und eng miteinander vernetzt waren; das Kontrollzentrum in Bedminster, NJ, war nur für Überwachung und Routing-Updates im 15-Minuten-Takt zuständig.
Bei Bedarf konnten alle Vermittlungsanlagen auf Standard-Routing zurückfallen, und bei hoher Last schlugen zwar einige Anrufe fehl, die meisten funktionierten aber weiter.
Ursache war, dass in dem C-Code, der das Routing handhabte, eine
break-Anweisung durch einecontinue-Anweisung ersetzt wurde, was einen Kaskadeneffekt auslöste.Allerdings war nur der Ferngesprächsdienst betroffen.
Ich frage mich, ob das nur Einbildung ist oder tatsächlich stimmt – und falls ja, was das bedeutet.
Der 502 kam von Azure, und es sieht nach einem Problem der Cloud-Architektur aus.
Etwas, das hier kaum diskutiert wird: Wie sahen die Kaskadeneffekte dieser Störung aus, insbesondere für Autofahrer?
Viele Menschen in Gebäuden konnten wohl auf Wi-Fi ausweichen, aber für Fahrer dürfte die Auswirkung ziemlich breit gewesen sein.
Mir fallen zum Beispiel Lieferverzögerungen bei UPS, FedEx, Amazon und Lkw-Fahrern ein, die auf Karten-Apps auf dem Handy angewiesen waren; Uber-/Lyft-/Taxifahrer, die keine Routenführung für Abhol- und Absetzpunkte hatten; oder Verkehr, der sich verschärfte, weil Routenoptimierung oder Zielführung ausfielen.
Große Unternehmen könnten Redundanzen wie eigene Infrastruktur oder dedizierte GPS-Geräte haben, aber ich frage mich, ob es solche Auswirkungen tatsächlich gab oder welche Ausweichmöglichkeiten existieren.
Unabhängig von Autofahrern dürfte auch das Risiko gestiegen sein, in Notfällen keine Behandlung zu bekommen, weil man nicht telefonieren konnte; außerdem ist unklar, wie Notrufe betroffen waren.
In Toronto hing ein Viertel aller Ampeln für Änderungen der Signalzeiten vom Rogers-Mobilfunknetz ab, und das Rogers-GSM-Netz wurde auch für die Fernüberwachung von Brandmeldeanlagen und Sprinklern in städtischen Gebäuden genutzt.
Öffentliches Parken per Bezahlung und der öffentliche Fahrradverleih waren ebenfalls nicht nutzbar.
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Ich meine mich zu erinnern, dass wegen der Sommerzeit auch einige Parkprogramme für Kinder abgesagt wurden. Der Grund war, dass das Personal ein Handy haben musste, mit dem 9-1-1 erreichbar war; zumindest dieser Anruf selbst scheint dort aber funktioniert zu haben.
Ich habe meine Abhängigkeit vom Handy bewusst reduziert und wusste daher gar nicht, dass es eine Störung gab. Früher habe ich selbst für sehr kurze Fahrten automatisch Google Maps eingeschaltet, aber mir wurde klar, dass ich die Fähigkeit verliere, selbst Wege zu finden, wenn ich mich völlig darauf verlasse, dass ein Unternehmen meinen Standort verfolgt und mir Anweisungen gibt. Im Zuge meines De-Googlings bin ich auf Organic Maps umgestiegen.
Trotzdem versuche ich, wenn möglich, ohne GPS-Hilfe selbst den Weg zu finden, denn Navigation fühlt sich wie eine Fähigkeit an, die man tatsächlich verlieren kann, wenn man sie nicht übt.
Nachdem ich heute Morgen eine Erledigung quer durch die Innenstadt gemacht hatte, wollte ich auf die größte mir bekannte Hauptverkehrsstraße zurückfahren und geriet sofort in einen kompletten Stau, der sich in westlicher Richtung über mindestens eine Meile zog. Ich dachte, vielleicht gab es einen Unfall, sah aber nichts; alle standen einfach nur still.
Ich wendete sofort und fuhr zu einer anderen West-Ost-Straße 0,75 Meilen weiter nördlich; dort war überhaupt kein Verkehr, und ich konnte mit Tempolimit nach Hause fahren.
Die gängigen Navigations-Apps schlagen bei Stau Ausweichrouten vor – warum saßen also alle in diesem Stau, obwohl eine parallele Straße weniger als eine Meile entfernt frei war? Vielleicht war das ein Kaskadeneffekt, weil zu viele Menschen an Handy-Anweisungen gewöhnt sind und ihnen das Handy nicht sagen konnte, dass sie eine andere Route nehmen sollen.
Es scheint auch eine automatische lokale Kartenfunktion zu geben.
Die meisten Fahrer nehmen vertraute Strecken und lassen sich nicht mit elektronischen Mitteln navigieren.
Die bessere Frage ist, was mit selbstfahrenden Autos passiert ist. Standen sie am Straßenrand, weil sie ohne Mobilfunkabdeckung den Weg nicht finden konnten?
Für alle, die über die eigentliche Ursache spekulieren wollen: Die Informationen aus den bisherigen Kommentaren reichen nicht aus, um eine Schlussfolgerung zu ziehen.
Als ich bei einem Carrier gearbeitet habe, habe ich mehrfach landesweite Mobilfunkprobleme in Kanada bearbeitet, und landesweite Auswirkungen konnten wirklich aus den unterschiedlichsten Ursachen entstehen.
Einmal wurde eine neue Route ins Netzwerk injiziert, wodurch die Routing Engine bestimmter Mobilfunkgeräte landesweit abstürzte; in der Folge fiel nur der Internetzugang der Mobilfunkgeräte im ganzen Land aus. Zum Glück war es ein Wartungsfenster um 2 Uhr morgens, und wir entdeckten es vor Geschäftsbeginn und rollten es zurück, sodass die meisten es gar nicht bemerkten.
Es gab auch den Fall, dass ein Techniker einen neuen Router einsteckte und die vorhandenen Core-Router daraufhin abstürzten und neu booteten. Die nachrichtenrelevante Auswirkung war eine regionale Störung von etwa 20 Minuten, aber in den folgenden 12 Stunden entdeckten wir Bugs und Nebenwirkungen von der Pazifik- bis zur Atlantikküste.
Deshalb ist es bei Daten wie „an Standort x betroffen“ schwer zu unterscheiden, ob dort die ganze Region down ist, viele Leute Probleme haben oder nur ein, zwei Personen ein Problem haben, das aus einer anderen Region herüberwirkt; Informationen darüber, ob es an einem bestimmten Ort geht oder nicht geht, haben nur begrenzten Wert.
Es gab auch den Fall, dass ein Messaging-Relay an ein konfiguriertes Rate Limit stieß und durch Protokoll-Retries die Nachrichtenrate weiter anstieg, sodass es bei einem bestimmten Protokoll faktisch zu einem Congestion Collapse kam. Weil es ein Überlastungsproblem bei der Zustandsweitergabe war, gab es landesweite Auswirkungen, aber trotzdem war es so, dass der Nachrichtenfluss mit x % Wahrscheinlichkeit abgeschlossen wurde und der Dienst funktionierte.
Bei der bekannten Rogers-Störung erinnere ich mich nicht, ob sie die vollständige eigentliche Ursache anerkannt haben. Es gab Spekulationen, dass bei einer Änderung oder einem Upgrade des Routing-Netzes die Techniker als Nebenwirkung des Problems selbst aus dem Netzwerk ausgesperrt wurden. Als das landesweite Netz tot war und die Mitarbeitenden dasselbe Netz nutzten, wurde die Koordination schwierig, was die Wiederherstellung erschwerte.
Die CRTC-Einreichungen, die ich geprüft habe, hatten alle nützlichen Informationen geschwärzt, sodass man daraus kaum etwas lernen konnte. Spekulationen machen Spaß, aber ich hoffe, dass AT&T diesmal transparenter ist als die kanadischen Carrier und die Branche daraus lernen kann.
Interessant war auch zu sehen, dass eine weitere riesige Organisation für eine Änderung, die das Unternehmen lahmlegen kann, keinen Rollback- oder Failure-Plan hatte. Grundlegendes IT 101 fehlte oder war nur eingeschränkt vorhanden.
Positiv gelernt wurde, dass die großen Drei, de facto zwei Carrier, es für sinnvoll hielten, wichtigen Mitarbeitenden gegenseitig Notfall-Backup-SIMs für das jeweils andere Netz bereitzustellen, falls das eigene Netz ausfällt. Das haben sie erst 2015 gemacht, aber besser spät als nie.
Weil Rogers für Wireless- und Festnetzverbindungen denselben Core nutzte, erlebten sogar Leute, die Drittanbieter-Internetprovider auf Rogers-Basis verwendeten, einen vollständigen Blackout. Websites, Unternehmensleitungen, fast alles war down, und die Kommunikation von Rogers war praktisch nicht vorhanden.
Zum Glück hatte unsere Organisation mehrere Leitungen, sodass wir um 6 Uhr morgens die Leitung umschalteten und der Betrieb vor Ort größtenteils problemlos weiterlief.
Ebenfalls interessant war, dass die Basisstationen gerade so weit eingeschaltet waren, dass sich Handys einbuchen konnten, aber nichts funktionierte; dadurch wurden 9-1-1-Anrufe nicht in andere Netze übergeben, sondern schlugen einfach fehl. Das wirkt wie ein Fehler in der GSM-Spezifikation oder in der Programmierung der Rogers-SIMs; ob das behoben wurde, weiß ich nicht.
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Sehr grob verallgemeinert: Leute aus der Wissenschaft tippen auf eine Sonneneruption, mein rechtsgerichteter Freund tippte auf internationale Hacker, ich tippte auf ein fehlgeschlagenes Software-Deployment, und jemand in diesem Thread schrieb, ein befreundeter Soldat habe ihm geraten, den Tank vollzumachen.
Aber wie alle anderen habe auch ich wirklich das Gefühl, dass meine Vermutung wahrscheinlich stimmt.
Es gibt viele Berichte, dass sechs Personen im selben Haushalt alle AT&T haben, aber nur eine davon betroffen ist.
Das klingt nach einem halb ausgerollten Upgrade oder, angesichts der Uhrzeit, nach einem halb ausgerollten Rollback.
Verizon und T-Mobile erklärten beide, es gebe keine eigene Störung; das Problem sei, dass ihre Kunden AT&T-Kunden nicht anrufen könnten.
Allerdings scheint der Großteil des AT&T-Netzes in den USA ausgefallen zu sein.
Der sprunghafte Anstieg gleichzeitig registrierender Geräte könnte Teile dieser Netze überlastet haben.
Vermutlich nicht damit verbunden, aber das Timing ist ungünstig, weil AT&T gerade beantragt hat, den Festnetztelefon-Dienst in Teilen Kaliforniens einzustellen.
https://www.wired.com/story/att-landline-california-complain...
Störung beendet
Status: wiederhergestellt
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
Ereignisbeschreibung: FINAL, Service Degradation
Betroffener Dienst: MMS MT
Beginn: 2024-02-21 22:00 Eastern, 21:00 Central, 19:00 Pacific
Ende: 2024-02-22 11:00 Eastern, 10:00 Central, 08:00 Pacific
Ausfallzeit: 780 Minuten
Sehr geehrte Kundin, sehr geehrter Kunde, wir möchten Sie darüber informieren, dass die Global Smart Messaging Suite derzeit wieder verfügbar ist. Der Dienst MMS MT wurde wiederhergestellt und wird von unserem Team überwacht.
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
Vielleicht lese ich da zu viel hinein, aber es stört mich, dass das fehlt.
Die jüngste Diskussion über Statusseiten kommt mir in den Sinn: https://news.ycombinator.com/item?id=39099980
Statusseiten sollten korrekt sein, aber der AT&T-Status behauptet, alles sei normal.
Mein Mobilfunkdienst ist ausgefallen, und bei DownDetector gibt es Zehntausende Meldungen – also ist ganz offensichtlich nicht alles normal.
Sie werden entweder durch automatisierte Tests aktualisiert oder manuell.
Wenn automatisch, dann fast immer für den internen Gebrauch und nicht öffentlich; wenn manuell, dann fast immer verspätet und ohnehin erst, nachdem der Ausfall schon bei HN gelandet ist.
Es ist wirklich frustrierend, wenn die Marketingabteilung die Statusseite übernimmt und überall die berüchtigten grünen Häkchen mit einem kleinen „i“ erscheinen.
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
Auf NANOG gibt es noch keine Informationen, aber ich vermute, dass in den nächsten Stunden in diesem Thread etwas auftauchen wird: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
Selbst in der myATT-App wird mein Mobilfunkkonto überhaupt nicht angezeigt.
Der gesamte Familienaccount wird nicht einmal als Dienst angezeigt. Es sieht aus wie ein Hack oder ein internes Problem, bei dem Konten gelöscht wurden.
Können andere prüfen, ob ihre Konten angezeigt werden?
Die SIMs hätten ihre Netzwerkauthentifizierung verloren und seien deshalb alle aus dem Netz gefallen. Wenn das stimmt, sieht es stark nach einem fehlgeschlagenen Software-Rollout aus.
Da Onlinekonten diese Informationen ebenfalls irgendwie abrufen dürften, könnte das auch erklären, warum das Portal kaputt ist.
Ein Prepaid-Hotspot funktioniert problemlos, aber keines der monatlich abgerechneten Handys im „Familientarif“ funktioniert.
Ich frage mich auch, ob der Unterschied zwischen physischer SIM und eSIM erklären könnte, warum „neuere“ Modelle funktionieren.
Als ich sah, dass mein Handy nicht funktioniert, war das Erste, was ich tat, mich einzuloggen und die Rechnung zu bezahlen, weil ich dachte, ich hätte sie vielleicht nicht bezahlt.
Ich würde nicht ausschließen, dass schon etwas zusätzlicher Traffic sie zu Fall gebracht hat. Korrelation ist nicht gleich Kausalität.
Es gibt so etwas wie eine Ausfallkarte[1]. Sie ist aber nutzlos.
Es ist einfach eine Karte, die zeigt, wo in den USA viele Menschen leben.
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...