Erklärung zur laufenden Störung bei SourceHut

Aktuelle Service-Verfügbarkeit

• sr.ht: offline
• meta.sr.ht: offline
• git.sr.ht: offline
• hg.sr.ht: offline
• todo.sr.ht: offline
• lists.sr.ht: offline
• paste.sr.ht: offline
• man.sr.ht: offline
• pages.sr.ht: offline
• builds.sr.ht: offline
• chat.sr.ht: offline
• Objektspeicher ist derzeit nicht verfügbar, wodurch auch an git- und hg-Tags angehängte Releases momentan nicht verfügbar sind.
• Bei hg.sr.ht gibt es bekannte Performance-Probleme und Probleme im Zusammenhang mit hg clone; da der Dienst von der Community gewartet wird, sind die Wiederherstellungsarbeiten ausgesetzt, bis ein Community-Maintainer eingebunden ist.

Update 2024-01-13 14:17 UTC

• Es muss ein neuer Transit-Anbieter gefunden werden, und es laufen Verhandlungen mit Anbietern, um das Problem abzumildern.
• Mit den technischen Arbeiten wird in Kürze begonnen; weitere Updates folgen, sobald es welche gibt.

Update 2024-01-13 13:00 UTC

• Der neue Transit-Anbieter hat mitgeteilt, dass der DDoS-Angriff dem Wechsel in das neue Netzwerk gefolgt ist.
• Der Anbieter hat Gegenmaßnahmen bereitgestellt, und es wird nicht mit einem Serviceausfall gerechnet.

Update 2024-01-13 12:40 UTC

• Die Mail-Dienste für lists und todo wurden wiederhergestellt.
• E-Mails, die während der Unterbrechung in der Warteschlange standen, werden nun wieder verarbeitet; es wird nicht davon ausgegangen, dass E-Mails verloren gegangen sind.

Update 2024-01-13 11:42 UTC

• pages.sr.ht wurde im Nur-Lese-Modus wieder in Betrieb genommen.
• Alle benutzerdefinierten Domains sollten bald funktionieren, mit Ausnahme benutzerdefinierter Domains, die Apex-Records verwenden.
• Betroffene Nutzer benötigen manuelle Eingriffe.

Update 2024-01-13 11:00 UTC

• Für die meisten Dienste wurde Lese-/Schreibzugriff aktiviert.
• hg ist weiterhin nur lesbar, und todo sowie lists verarbeiten Web-Anfragen, während das Mail-System noch in Arbeit ist.

Update 2024-01-13 09:26 UTC

• hg.sr.ht wurde in den Nur-Lese-Modus versetzt.
• Es wird daran gearbeitet, für die heute verfügbaren Dienste Lese-/Schreibzugriff zu aktivieren.
• Die Übernahme der Unterschiede aus dem Backup von git.sr.ht wurde abgeschlossen; auch die Unterschiede für hg sollen in Kürze abgeschlossen sein.

Update 2024-01-12 20:49 UTC

• Es laufen abschließende Arbeiten an den heutigen Zielen.
• Sieben Kerndienste laufen im Nur-Lese-Modus.
• Frühere Probleme im Zusammenhang mit git clone/fetch wurden ebenfalls behoben.

Update 2024-01-12 16:38 UTC

• todo und lists wurden im Nur-Lese-Modus wieder online gebracht.

Update 2024-01-12 16:13 UTC

• Einige Dienste werden nun schrittweise wieder online gebracht.
• meta und git werden je nach DNS-Propagation verfügbar.

Was ist SourceHut?

• SourceHut ist ein von Drew gegründetes Unternehmen und derzeit außer Betrieb.
• SourceHut ist für seine Zuverlässigkeit bekannt, erlebt nun aber den schwerwiegendsten und längsten Ausfall seiner Geschichte.
• Das SourceHut-Team setzt alles daran, das Problem zu lösen und den Dienst so schnell wie möglich wiederherzustellen.

Was ist passiert?

• Am 10. Januar um 06:30 UTC begann ein verteilter Denial-of-Service-Angriff (DDoS) auf SourceHut.
• SourceHut kann gewöhnliche DDoS-Angriffe bewältigen, doch dieser Angriff war so groß, dass er die Möglichkeiten zur eigenen Abwehr überstieg.
• Der Upstream-Netzwerkanbieter blockierte SourceHut vollständig, sodass weder das Internet noch das SourceHut-Team auf die Server zugreifen konnten.
• Das Rechenzentrum in PHL war betroffen; SourceHut mietet dort Colocation-Fläche bei einem Anbieter.
• Nachdem der Anbieter in PHL zwei Übernahmen durchlaufen hatte, fiel das SourceHut-Konto während einer Migration des Ticket-Systems unter den Tisch, was den ersten Kontakt mit dem Anbieter verzögerte.
• Die Verfügbarkeit von SourceHut wurde am Abend des 10. Januar teilweise wiederhergestellt, doch als sich der DDoS in den frühen Stunden des 11. Januar verstärkte, setzte der Anbieter die Sperre erneut durch.

Welche Maßnahmen ergreifen wir?

• SourceHut betreibt drei Standorte (PHL, FRE, AMS), wobei PHL der Hauptstandort ist und derzeit offline ist.
• Als PHL überhaupt nicht mehr erreichbar war, begann man in AMS mit der Wiederherstellung aus Backups für eine parallele Installation von SourceHut.
• Die Aussichten hinsichtlich eines Verlusts von Nutzerdaten sind gut; Backups laufen regelmäßig und werden getestet.
• In AMS werden die SourceHut-Dienste wiederhergestellt; meta, todo, lists, paste und der Project Hub funktionieren vollständig mit Produktionsdaten.
• Die Wiederherstellung von Diensten wie git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht und builds.sr.ht hat Priorität.
• Ziel ist es, der Community so schnell wie möglich Nur-Lese-Zugriff zu ermöglichen und anschließend den vollständigen Lese-/Schreibzugriff wiederherzustellen.

Wie kann man helfen?

• Am wichtigsten sind Geduld und Verständnis.
• Die Abwehr solcher Angriffe ist ein Marathon, und es muss darauf geachtet werden, das Personal nicht zu überlasten.
• Auf Mastodon und im IRC-Kanal #sr.ht bei Libera Chat können Updates und unterstützende Worte geteilt werden.

GN⁺-Meinung:

1. Die aktuelle Lage von SourceHut ist ein wichtiges Ereignis für die Open-Source-Community und Entwickler und zeigt die Verwundbarkeit selbst verlässlicher Dienste sowie die Bedeutung von Notfallplänen.
2. Der Vorfall unterstreicht die Schwere von DDoS-Angriffen und die Notwendigkeit für Unternehmen, sich auf groß angelegte Cyberangriffe vorzubereiten.
3. Die transparente Kommunikation des SourceHut-Teams und seine Bemühungen zur Problemlösung schaffen Vertrauen bei den Nutzern und zeigen, wie wichtig Unterstützung und Geduld der Community sind.

[GN⁺]

Hacker-News-Kommentare

• Ein kürzlich betriebener Dienst wurde von einem DDoS-Angriff getroffen, kurz nachdem eine indische Polizeibehörde Daten zu einem bestimmten Nutzer angefordert hatte
  Sie behauptete, es gehe um Terrorismus, und als wir unsere Richtlinie erläuterten, dass in unserer Gerichtsbarkeit ein langes rechtliches Verfahren nötig sei, war der Dienst innerhalb weniger Stunden offline und blieb es etwa 12 Stunden lang
  Es gab keine Lösegeldforderung, und die einzigen plausiblen Ursachen waren die indische Polizei/Regierung, der ursprüngliche Nutzer oder reiner Zufall
  Wenn man so etwas erlebt, denkt man unweigerlich: „Das dürfte nicht möglich sein“, und es zeigt, dass dies ein Spiel ist, das viel zu stark zugunsten der Stärkeren verzerrt ist, egal ob man das Problem ignoriert oder direkt damit zu tun hat

  • Ich frage mich, wie sicher man sein kann, dass diese Anfrage tatsächlich von der indischen Polizei kam
    Es könnte doch auch jemand anderes gewesen sein, der irrational wütend wurde, weil er die gewünschten Daten nicht bekam
  • Wir wurden kürzlich ebenfalls per DDoS angegriffen, und jedes Mal fragt man sich, wem das nützt oder ob sich überhaupt jemand für uns interessiert
    Ob es ein Konkurrent war, einfach jemand mit Langeweile oder ein unzufriedener Kunde, lässt sich nicht sagen, und wahrscheinlich werden wir es nie erfahren
  • Welche Behörde es war, ist wichtig
    Es gibt auch paramilitärische oder innere Sicherheitsorganisationen mit „Police“ im Namen, wie CRPF oder ITBP, und falls es unter das MHA fällt, wäre die Einstufung als „nationale Sicherheit“ nicht überraschend
  • Überraschend ist, dass der Dienst nicht bereits irgendeine Form von DDoS-Schutz hatte
    Für öffentliche Dienste ist das seit 10 bis 20 Jahren fast Standard, und für kleine Dienste ist Cloudflare kostenlos oder günstig, zudem gibt es viele Alternativen
    Man sollte grundsätzlich davon ausgehen, direkt nach dem Launch zufällig per DDoS angegriffen zu werden, und selbst wenn man die Angreifer identifiziert, ist die Chance, sie zu verfolgen und zu bestrafen, fast null
    Die Schlussfolgerung hier ist weniger „Das dürfte nicht möglich sein“ als vielmehr „Das ist seit Jahrzehnten üblich, wird weiter passieren, also sollte man sich auf das Nächste vorbereiten“
    Ob korrupte lokale Behörden oder Script Kiddies — solange die halbe Welt mit miserablen Geräten verbunden ist, wird es weiterhin DDoS geben
  • Ich halte es für unwahrscheinlich, dass die indische Polizei kompetent genug wäre, einen solchen DDoS gegen den Dienst zu fahren

• In meiner ersten Woche bei [großem öffentlichem Code-Hosting] wurden wir von einem [staatlichen Akteur] angegriffen, vermutlich weil wir etwas hosteten, das [Staat] nicht mochte
  Dass SourceHut und Codeberg diese Aufmerksamkeit bekommen, ist zugleich ein ermutigendes Zeichen dafür, dass alternative Code-Hoster beginnen, echte Traktion zu gewinnen

  • Ich frage mich, woher man wusste, dass es [Staat] war
    Es ist unklar, ob es eine eindeutige Drohung oder eine Nachricht mit Forderungen nach dem Muster „Wenn ihr das nicht tut ...“ gab

• Interessant, jetzt zu erfahren, warum HN offline war
  Gemeint ist: „Ihr habt wahrscheinlich gesehen, dass Hacker News am 10. Januar offline war; ich denke, das war das Ergebnis davon, dass Cogent bei der Abwehr eines gegen SourceHut gerichteten DDoS zu grob vorgegangen ist“
  Das stand auch unter https://news.ycombinator.com/item?id=38939532, aber ich hatte es vorher nicht gesehen

  • Ich bin verwirrt, was genau gemeint ist, wenn Cogent die IP-Adresse von SourceHut ins Blackhole geroutet hat und wie sich das auf die IP-Adresse von HN ausgewirkt haben soll
    Beide haben völlig getrennte IP-Zuweisungen und ASNs
  • Ab einem bestimmten Punkt bleibt bei der DDoS-Abwehr manchmal nur noch Remote Triggered Blackholing am Edge-Router als Option
    Das Ergebnis ist, dass dann ein ganzes /24-Netz nicht mehr ins eigene Netzwerk geroutet wird, sondern bei Peers verworfen wird
  • Wenn man bedenkt, dass Drew Hacker News nicht besonders mag, ist es trotzdem überraschend, dass er so eine Erwähnung eingebaut hat

• Es ist bedauerlich, dass das Team sich mit so etwas befassen muss, aber ich möchte applaudieren, weil es ein hervorragendes Beispiel dafür ist, wie man mit Kunden kommuniziert

• Ich hoffe, die sr.ht-Mitarbeiter kommen gut durch den Umzug nach AMS
  Zum Glück ist git ausreichend dezentral, sodass in den letzten Tagen praktisch alles möglich war; das Einzige, was nicht ging, war, neue Releases in die offiziellen Upstream-Repositories zu pushen

  • Gerade weil SourceHut seinen Nutzern git send-email nicht überfürsorglich versteckt, ist kollaborative Entwicklung auf dieser Plattform besonders gut dafür geeignet, auch in solchen Situationen weiterzulaufen
  • Meinst du vielleicht einen Umzug zu AWS?
    Wenn man auf AWS von DDoS getroffen wird, könnte Drew oder SourceHut sehr wohl bankrottgehen, selbst wenn Amazon den Traffic absorbiert
    Außerdem haben sie von vornherein grundsätzliche Einwände gegen AWS

• Wenn da steht: „Wir haben mit CloudFlare gesprochen, aber uns wurde ein finanziell nicht tragbarer Preis genannt“, dann könnte vielleicht jemand weiter oben bei Cloudflare den Fall eskalieren und bei einem angemessenen Angebot helfen

  • Vielen scheint nicht klar zu sein, dass ein großer Teil der kostenlosen oder günstigen Cloudflare-Dienste HTTP-zentriert ist
    Funktionen für mehrere Protokolle liegen in den Enterprise-Tarifen, mit denen sie ihr Geld verdienen
  • Nur weil ein Angebot teuer ist, heißt das nicht, dass es kein angemessenes Angebot ist
    Entweder CloudFlare macht es aus PR-Gründen kostenlos, oder sie verlangen einen Preis, der einem echten Angebot entspricht
  • Ich verstehe nicht, warum man erwarten sollte, dass Cloudflare die Kosten anstelle von SourceHut übernimmt
  • Das könnte daran liegen, dass Cloudflare Spectrum für den Schutz von Nicht-HTTP-Diensten wie SSH absurd teuer ist
  • Ich frage mich, warum das Angebot nicht veröffentlicht wird
    Andere Unternehmen könnten dann vielleicht bessere Konditionen anbieten

• Wenn Godot, Codeberg und SourceHut betroffen waren, gibt es dann noch weitere Seiten?
  Es sieht so aus, als würde jemand Websites rund um Open Source ins Visier nehmen

  • Vielleicht demonstriert jemand gerade seine DDoS-Fähigkeiten, um Kapazität an böswillige Käufer zu verkaufen

• Ich frage mich, was die üblichen Motive für DDoS-Angriffe sind
  Es dürfte ein gewisses Strafverfolgungsrisiko geben, also müsste man doch etwas davon haben, und weder Erpressung noch die Behinderung von Konkurrenten wirken in diesem Fall besonders plausibel

  • Oft ist es so simpel, dass eine instabile Einzelperson das Gefühl hat, vom Opfer unfair behandelt worden zu sein, und einen Angriff mietet
    Ein großer Grund für den Erfolg von Discord war auch, dass Skype und Teamspeak IP-Adressen offenlegten, und deshalb haben die meisten Online-Spiele direktes P2P-Networking aufgegeben
  • Die Ursachen reichen von Script Kiddies über staatliche Akteure bis hin zu falsch konfigurierten Botnets
    Die Motive ähneln oft denen für viele Rewrites: „weil man es kann“ oder „weil es da ist“
    Ich gehöre zwar nicht zu diesen Gruppen, aber wenn man Geschichte und Nachrichten betrachtet, scheint vieles von Leuten unterhalb des Alters für Erwachsenenanklagen oder in Ländern ohne ernsthaften Durchsetzungswillen auszugehen; das Risiko ist gering, und selbst wenn es eines gibt, glauben viele nicht, dass sie gefasst werden
  • Zu den Motiven gehören Lösegeld, das Ausschalten von Konkurrenten und Zensur
    Zum Beispiel Angriffe auf Glücksspielseiten oder dass die chinesische Regierung GitHub regelmäßig angreift, weil dort VPN-Software gehostet wird
  • Ich frage mich, ob es schon echte Strafverfolgungen wegen DDoS gegeben hat
  • Der naheliegendste Grund könnte einfach sein, dass jemand einen Teil des auf der Website veröffentlichten Codes nicht mochte und die Seite leicht offline zu nehmen war
    Vielleicht gab es vorher auch eine eher milde Warnung, von der wir nichts wissen

• Codeberg war vor etwa 12 Stunden ebenfalls durch einen DDoS offline
  https://status.codeberg.eu/status/codeberg

  • Ich frage mich, warum ein Umzug in die EU erwogen wird
    Andere Dienste in derselben Region scheinen dieselben Probleme zu haben, und ein Umzug nach Europa würde das nicht lösen, trotzdem stand so etwas in der öffentlichen Mitteilung