Erklärung zur laufenden Störung bei SourceHut

Aktuelle Service-Verfügbarkeit

• sr.ht: offline
• meta.sr.ht: offline
• git.sr.ht: offline
• hg.sr.ht: offline
• todo.sr.ht: offline
• lists.sr.ht: offline
• paste.sr.ht: offline
• man.sr.ht: offline
• pages.sr.ht: offline
• builds.sr.ht: offline
• chat.sr.ht: offline
• Objektspeicher ist derzeit nicht verfügbar, wodurch auch an git- und hg-Tags angehängte Releases momentan nicht verfügbar sind.
• Bei hg.sr.ht gibt es bekannte Performance-Probleme und Probleme im Zusammenhang mit hg clone; da der Dienst von der Community gewartet wird, sind die Wiederherstellungsarbeiten ausgesetzt, bis ein Community-Maintainer eingebunden ist.

Update 2024-01-13 14:17 UTC

• Es muss ein neuer Transit-Anbieter gefunden werden, und es laufen Verhandlungen mit Anbietern, um das Problem abzumildern.
• Mit den technischen Arbeiten wird in Kürze begonnen; weitere Updates folgen, sobald es welche gibt.

Update 2024-01-13 13:00 UTC

• Der neue Transit-Anbieter hat mitgeteilt, dass der DDoS-Angriff dem Wechsel in das neue Netzwerk gefolgt ist.
• Der Anbieter hat Gegenmaßnahmen bereitgestellt, und es wird nicht mit einem Serviceausfall gerechnet.

Update 2024-01-13 12:40 UTC

• Die Mail-Dienste für lists und todo wurden wiederhergestellt.
• E-Mails, die während der Unterbrechung in der Warteschlange standen, werden nun wieder verarbeitet; es wird nicht davon ausgegangen, dass E-Mails verloren gegangen sind.

Update 2024-01-13 11:42 UTC

• pages.sr.ht wurde im Nur-Lese-Modus wieder in Betrieb genommen.
• Alle benutzerdefinierten Domains sollten bald funktionieren, mit Ausnahme benutzerdefinierter Domains, die Apex-Records verwenden.
• Betroffene Nutzer benötigen manuelle Eingriffe.

Update 2024-01-13 11:00 UTC

• Für die meisten Dienste wurde Lese-/Schreibzugriff aktiviert.
• hg ist weiterhin nur lesbar, und todo sowie lists verarbeiten Web-Anfragen, während das Mail-System noch in Arbeit ist.

Update 2024-01-13 09:26 UTC

• hg.sr.ht wurde in den Nur-Lese-Modus versetzt.
• Es wird daran gearbeitet, für die heute verfügbaren Dienste Lese-/Schreibzugriff zu aktivieren.
• Die Übernahme der Unterschiede aus dem Backup von git.sr.ht wurde abgeschlossen; auch die Unterschiede für hg sollen in Kürze abgeschlossen sein.

Update 2024-01-12 20:49 UTC

• Es laufen abschließende Arbeiten an den heutigen Zielen.
• Sieben Kerndienste laufen im Nur-Lese-Modus.
• Frühere Probleme im Zusammenhang mit git clone/fetch wurden ebenfalls behoben.

Update 2024-01-12 16:38 UTC

• todo und lists wurden im Nur-Lese-Modus wieder online gebracht.

Update 2024-01-12 16:13 UTC

• Einige Dienste werden nun schrittweise wieder online gebracht.
• meta und git werden je nach DNS-Propagation verfügbar.

Was ist SourceHut?

• SourceHut ist ein von Drew gegründetes Unternehmen und derzeit außer Betrieb.
• SourceHut ist für seine Zuverlässigkeit bekannt, erlebt nun aber den schwerwiegendsten und längsten Ausfall seiner Geschichte.
• Das SourceHut-Team setzt alles daran, das Problem zu lösen und den Dienst so schnell wie möglich wiederherzustellen.

Was ist passiert?

• Am 10. Januar um 06:30 UTC begann ein verteilter Denial-of-Service-Angriff (DDoS) auf SourceHut.
• SourceHut kann gewöhnliche DDoS-Angriffe bewältigen, doch dieser Angriff war so groß, dass er die Möglichkeiten zur eigenen Abwehr überstieg.
• Der Upstream-Netzwerkanbieter blockierte SourceHut vollständig, sodass weder das Internet noch das SourceHut-Team auf die Server zugreifen konnten.
• Das Rechenzentrum in PHL war betroffen; SourceHut mietet dort Colocation-Fläche bei einem Anbieter.
• Nachdem der Anbieter in PHL zwei Übernahmen durchlaufen hatte, fiel das SourceHut-Konto während einer Migration des Ticket-Systems unter den Tisch, was den ersten Kontakt mit dem Anbieter verzögerte.
• Die Verfügbarkeit von SourceHut wurde am Abend des 10. Januar teilweise wiederhergestellt, doch als sich der DDoS in den frühen Stunden des 11. Januar verstärkte, setzte der Anbieter die Sperre erneut durch.

Welche Maßnahmen ergreifen wir?

• SourceHut betreibt drei Standorte (PHL, FRE, AMS), wobei PHL der Hauptstandort ist und derzeit offline ist.
• Als PHL überhaupt nicht mehr erreichbar war, begann man in AMS mit der Wiederherstellung aus Backups für eine parallele Installation von SourceHut.
• Die Aussichten hinsichtlich eines Verlusts von Nutzerdaten sind gut; Backups laufen regelmäßig und werden getestet.
• In AMS werden die SourceHut-Dienste wiederhergestellt; meta, todo, lists, paste und der Project Hub funktionieren vollständig mit Produktionsdaten.
• Die Wiederherstellung von Diensten wie git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht und builds.sr.ht hat Priorität.
• Ziel ist es, der Community so schnell wie möglich Nur-Lese-Zugriff zu ermöglichen und anschließend den vollständigen Lese-/Schreibzugriff wiederherzustellen.

Wie kann man helfen?

• Am wichtigsten sind Geduld und Verständnis.
• Die Abwehr solcher Angriffe ist ein Marathon, und es muss darauf geachtet werden, das Personal nicht zu überlasten.
• Auf Mastodon und im IRC-Kanal #sr.ht bei Libera Chat können Updates und unterstützende Worte geteilt werden.

GN⁺-Meinung:

1. Die aktuelle Lage von SourceHut ist ein wichtiges Ereignis für die Open-Source-Community und Entwickler und zeigt die Verwundbarkeit selbst verlässlicher Dienste sowie die Bedeutung von Notfallplänen.
2. Der Vorfall unterstreicht die Schwere von DDoS-Angriffen und die Notwendigkeit für Unternehmen, sich auf groß angelegte Cyberangriffe vorzubereiten.
3. Die transparente Kommunikation des SourceHut-Teams und seine Bemühungen zur Problemlösung schaffen Vertrauen bei den Nutzern und zeigen, wie wichtig Unterstützung und Geduld der Community sind.

[GN⁺]

Hacker-News-Kommentare

• Der Dienst wurde direkt nachdem er von der indischen Polizei eine Anfrage nach den Daten eines bestimmten Nutzers erhalten hatte, Ziel eines DDoS-Angriffs. Die indische Polizei behauptete, dies stehe im Zusammenhang mit Terrorismus, doch der Dienst erklärte, dafür sei ein rechtsstaatliches Verfahren erforderlich. Einige Stunden später fiel der Dienst aus, und der Ausfall dauerte etwa 12 Stunden. Es gab keine Lösegeldforderung; als mögliche Ursachen kommen drei Dinge in Betracht: die indische Polizei bzw. Regierung, der betreffende Nutzer selbst oder reiner Zufall.
• Als ich in meiner ersten Woche bei einem [großen, populären öffentlichen Code-Repository] arbeitete, wurden wir von einem [staatlichen Akteur] angegriffen. Das wird als positives Signal verstanden, dass alternative Repositories wie SourceHut und Codeberg allmählich Aufmerksamkeit bekommen.
• Jetzt ist klar, warum Hacker News am 10. Januar ausgefallen ist. Der Grund waren überzogene Maßnahmen von Cogent zur Abwehr des gegen SourceHut gerichteten DDoS-Angriffs.
• Es wird Bedauern darüber ausgedrückt, dass das Team mit so einer Situation umgehen muss, zugleich wird die Art der Kommunikation mit den Kunden gelobt.
• Hoffentlich bewältigen die sr.ht-Mitarbeiter die AMS-Migration gut; da git dezentral ist, konnte man in den letzten Tagen bis auf neue Software-Releases praktisch alles weiter erledigen.
• Auf eine Anfrage bei CloudFlare hin wurde ein finanziell nicht tragbarer Preis genannt, deshalb wird nach anderen Lösungen gesucht, die öffentlich gemacht werden können, ohne den Angreifern den Plan zu verraten.
• Es scheint, dass mit Open Source verbundene Websites wie Godot, codeberg und sourcehut Ziel von Angriffen werden.
• SourceHut-Gründer Drew entschuldigt sich für den Dienstausfall und räumt ein, dass dies für SourceHut, das sich seiner Zuverlässigkeit rühmt, die schwerste und längste Unterbrechung überhaupt ist. Alle Mitarbeiter tun ihr Möglichstes, um das Problem zu lösen.
• Es wird die Frage nach dem Motiv hinter dem DDoS-Angriff aufgeworfen. Warum wird ein solcher Angriff trotz des Risikos einer strafrechtlichen Verfolgung durchgeführt? In diesem Fall wirken weder Erpressung noch Sabotage durch einen Konkurrenten besonders überzeugend.
• Man stellt sich selbst die Frage: „Was wäre, wenn das primäre Rechenzentrum morgen verschwinden würde?“ und macht dafür ernsthafte Pläne. Es wird vorgeschlagen, für unerwartete Situationen Replikate in einem anderen Rechenzentrum vorzuhalten und zu synchronisieren.