- Kiwix erklärte, dass das Hosting am Sonntag, dem 1. Dezember 2024, um 00:00 Uhr ohne vorherige Warnung eingestellt wurde und der Zugriff auf die Bibliothek sowie Dateidownloads blockiert waren
- Ursache war, dass Hetzner das Kiwix-Konto gekündigt und alle Server abgeschaltet hatte; Kiwix prüfte sogar den Spam-Ordner, konnte aber keine vorherige Benachrichtigung finden
- Am Montagvormittag kam zwar Kontakt mit Hetzner zustande, der Grund für die Kündigung konnte jedoch nicht geklärt werden, und auf die von Hetzner angeblich versandte E-Mail erhielt Kiwix die Antwort, dass eine erneute Zusendung nicht möglich sei
- Nachdem die Serverdaten bereits gelöscht waren, stellte Kiwix mithilfe nicht betroffener Mirror und neuer Maschinen bei Scaleway rund 8 TB wieder her; die erneute Inbetriebnahme dauerte etwa 48 Stunden
- Auch die später geteilte Kündigungs-E-Mail enthielt keinen Grund, und Kiwix will diesen Vorfall zum Anlass nehmen, innerhalb der vorhandenen Ressourcen neue Schutzmechanismen zu prüfen
Kiwix-Dienst am Sonntag um Mitternacht unterbrochen
- Am Sonntag, dem 1. Dezember 2024, um 00:00 Uhr wurde das Server-Hosting von Kiwix ohne Vorankündigung eingestellt
- Kiwix erklärte, auf Basis dieses Vorfalls den Dienst von Hetzner Online nicht zu empfehlen
- Der Zeitpunkt der Unterbrechung war Sonntag um Mitternacht, und Kiwix ging davon aus, dass es sich um eine geplante Abschaltung des Dienstes durch Hetzner handelte
- Das wichtigste Storage-Backend war vollständig unzugänglich
- Normale Nutzer konnten weder auf die Bibliothek zugreifen noch Dateien herunterladen
- Auch Kiwix selbst konnte nicht auf den Storage zugreifen, um die Ursache zu prüfen
Kontokündigung und sofort gelöschte Serverdaten
- Bei der Prüfung stellte sich heraus, dass Hetzner das Kiwix-Konto gekündigt und alle Server abgeschaltet hatte
- Kiwix hatte keine vorherige Warnung erhalten und fand auch im Spam-Ordner keine entsprechende Benachrichtigung
- Am Sonntag war niemand erreichbar, erst am Montagvormittag kam Kontakt mit Hetzner zustande
- Der Grund für die Kündigung wurde letztlich nicht erklärt
- Hetzner antwortete, dass eine E-Mail verschickt worden sei
- Als Kiwix um erneute Zusendung bat, antwortete Hetzner, dass diese E-Mail nicht noch einmal gesendet werden könne
- In der Zwischenzeit waren bereits alle Server gelöscht, sodass Kiwix nach eigenen Angaben keine Möglichkeit hatte, die Daten wiederzuerlangen
Wiederherstellung über Mirror und Scaleway
- Kiwix verfügte noch über nicht betroffene Mirror
- Neue Maschinen wurden bei einem anderen Anbieter, Scaleway, bereitgestellt
- Anschließend begann Kiwix sofort damit, die Daten wieder auf einen neuen Master-Server zu übertragen
- Insgesamt dauerte es etwa 48 Stunden, rund 8 TB Daten wieder online zu bringen
Sichtbar gewordene operative Schwachstellen und Folgemaßnahmen
- Durch diesen Vorfall identifizierte Kiwix einige Schwachstellen
- Gleichzeitig zeigte sich, dass die für die Infrastruktur Verantwortlichen die Situation in vergleichsweise kurzer Zeit umstellen konnten
- Kiwix erklärte, in den kommenden Wochen oder Monaten innerhalb der vorhandenen Ressourcen zu prüfen, wie neue Schutzmechanismen umgesetzt werden können
Später geteilte Kündigungs-E-Mail
- Später teilte Hetzner die Kündigungs-E-Mail
- Die E-Mail war lediglich ein einfacher Hinweis, dass das Kiwix-Konto Ende des folgenden Monats geschlossen werde
- Ein Kündigungsgrund wurde nicht genannt, und nach Formulierung der Nachricht wirkte es laut Kiwix nicht so, als habe Kiwix gegen die Nutzungsbedingungen von Hetzner verstoßen
- Kiwix erklärte, mit dieser E-Mail den Vorfall abschließen und hinter sich lassen zu können
- Kiwix fügte hinzu, dass es wirksam gewesen sei, das Problem öffentlich im Internet bekannt zu machen
1 Kommentare
Hacker-News-Kommentare
Wenn man einen CTO fragt, ob es Backups oder einen Plan B gibt, bekommt man oft die Antwort: „Wir sind auf AWS, dort machen wir auch Backups, und dass die Firma AWS untergeht, wird nicht passieren.“
Dann frage ich noch einmal, was passiert, wenn das Konto geschlossen wird. Zum Beispiel wenn das Konto verknüpft wird, weil man dieselbe Telefonnummer wie ein Unternehmen benutzt, das auf Amazon problematische Waren verkauft, oder wie in dem Fall, als GCP vor einigen Jahren ein Bild in Drive falsch klassifizierte und daraufhin das Konto schloss
Backups müssen an einem anderen Ort liegen, und auch Terraform sollte bei einem anderen Cloud-Anbieter validiert sein. Andernfalls setzt man das gesamte Unternehmen einem Risiko aus
Nur ergänzend: Das soll kein Vorwurf gegen Hetzner sein. Ich nutze es seit über 20 Jahren, und in dieser Zeit sind zwar einzelne Server ausgefallen, aber nie ein ganzes Konto gekündigt worden
Zuerst hieß es, wir sollten On-Prem verlassen und Kosten seien egal, dann hieß es, wir müssten Cloud-neutral sein, und als die Deadline näher rückte, wurde daraus: „Technische Schulden sind egal, Hauptsache es läuft so schnell wie möglich auf AWS.“
Jetzt gibt es wegen der AWS-Kosten großen Ärger, und zusätzlich zu Feature-Entwicklung und Wartung müssen wir gleichzeitig „Cloud-Neutralität“ und „Kostenreduktion des Dienstes in allen Clouds“ stemmen. Wegen technischer Schulden und vieler Bugs ist beides mindestens 10-mal langsamer geworden
Ich sollte mir wohl schnell einen neuen Job suchen. Die Führungskräfte und das obere Management führen das Unternehmen viel zu chaotisch. Jeden Tag gibt es spontane Reaktionen von jemandem, der von der Realität entkoppelt ist oder kaum versteht, wie die Dinge tatsächlich funktionieren, und dadurch kommen nur immer mehr Prozessprobleme hinzu, die beim Lösen der echten Probleme kaum helfen
Meist kommt dann eine Antwort wie: „Das ist doch ein eingebautes Tool, warum sollten wir annehmen, dass es kaputt ist?“ Und wenn man dann Monate oder Jahre später eine Wiederherstellung versucht, stellt man fest, dass die eigentlich wichtigen Daten nie gesichert wurden
Google Cloud hat Anfang dieses Jahres versehentlich die komplette Cloud-Bereitstellung eines australischen Pensionsfonds gelöscht. Wenn man wirklich robuste Backups will, sollte am Ende alles auf Objektspeicher reduzierbar sein und in der Cloud eines anderen Unternehmens liegen
Außerdem besteht eine hohe Wahrscheinlichkeit, dass sie ungetestet herumliegt und genau dann nutzlos ist, wenn man sie am dringendsten braucht
Ich habe zwar manuell von allem Backups gezogen, aber das ist wirklich keine gute Situation
Ich hinterlasse das hier, weil sich zu dieser Sache falsche Informationen verbreiten. Am 30. Oktober 2024 haben wir per E-Mail eine Kündigungsmitteilung mit der in den AGB vorgesehenen Frist verschickt.
Unser Team hatte bereits mehrfach Kontakt mit diesem Kunden, und wir verfügen auch über Übertragungsprotokolle der Kommunikation. Wir schließen keine Konten zufällig, Sie können also beruhigt sein. Es gibt immer einen konkreten und legitimen Grund, etwa Missbrauch des Dienstes oder einen Verstoß gegen die AGB.
Bitte halten Sie sich daher an die AGB: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
In den vergangenen Jahren gab es online viele Leute, die behaupteten, Hetzner habe ihr Konto ohne Angabe von Gründen geschlossen. Ich denke, die meisten haben absichtlich einige Details ausgelassen, damit es nicht wie ein AGB-Verstoß aussieht.
Trotzdem möchte ich als Hetzner-Kunde, wenn auch als kleiner, wissen, dass solche Beschwerden unbegründet sind und ich diesem Unternehmen weiterhin vertrauen kann.
Ihr solltet zwar unsere Adresse haben, aber falls sie vielleicht „verloren gegangen“ ist, leitet bitte die E-Mail vom 30. Oktober an contact @ kiwix.org weiter.
Unten steht der Ausgangspunkt unsererseits, anhand der Referenznummer sollte das leicht zu finden sein:
Das gilt umso mehr, wenn die Information nur per E-Mail erfolgte, ohne Empfangsbestätigung und ohne andere Kontaktwege zu versuchen. Ist es Ihr Standardverfahren, Daten dauerhaft zu löschen, sobald der Dienst beendet wird?
Hier geht es nicht um Backups. Natürlich sind Backups wichtig, aber wenn Hetzner tatsächlich operative Daten ohne Warnung oder Übergangsfrist gelöscht hat, ist das keine ausreichend stabile Grundlage, um darauf aufzubauen.
Aus genau solchen Gründen bin ich nie Kunde von Google Cloud geworden, und ich werde keine neuen Server bei Hetzner bereitstellen, bis Hetzner klar darlegt, was schiefgelaufen ist und was getan wird, damit ein solcher Fehler nicht noch einmal passiert.
Hetzner, jetzt liegt der Ball bei euch.
Dass „der Ball bei Hetzner liegt“, stimmt auch nicht unbedingt. Wenn man die AGB liest, steht dort, dass sie mit den Servern praktisch alles machen können.
In Abschnitt 2.7 der AGB heißt es: „Außerdem behalten wir uns das Recht vor, das Vertragsverhältnis bei Vorliegen eines wichtigen Grundes auch ohne Einhaltung einer Frist zu kündigen.“
Dasselbe kann bei den Servern jedes Unternehmens passieren. Über Amazon gibt es viele Geschichten über ähnliche Fälle, und bei Google ist es genauso.
Wenn es kein Colocation-Setup ist oder man die Hardware nicht selbst besitzt, kann man auf viele Arten getroffen werden. Einem Host für dedizierte Server würde ich niemals vollständig vertrauen.
Beschwerden darüber, dass Hetzner jemandem einen Server abgeschaltet hat, betrafen meist Inhalte, die gegen die Nutzungsbedingungen verstießen, oder ähnliche Gründe.
Diesmal scheint es aber um Kiwix zu gehen, also um eine Art „Offline-Wikipedia“ in verschiedenen Formen, und es wirkt nicht so, als hätte das mit problematischen Inhalten zu tun.
Letztlich wird wohl auch noch die Sicht von Hetzner kommen. Wenn die andere Seite öffentlich zu schreiben beginnt, fängt Hetzner üblicherweise ebenfalls an, öffentlich über das Problem zu sprechen.
Ich persönlich habe Hetzner seit Jahren zufrieden genutzt und hatte keine Probleme, die nicht meine eigene Schuld waren. Aber die Geschichte, dass am Sonntag tief in der Nacht nach Berliner Zeit Server gelöscht wurden, die Daten sofort verschwanden und es keine Möglichkeit zur Abhilfe gab, klingt ziemlich aggressiv. Zum Glück scheinen sowohl ich als auch Kiwix Spiegel für wichtige Daten zu haben.
Vielleicht wurde das wegen einer Zeichenkette in einem beliebigen Dateinamen so bewertet, oder Hetzner hielt es wie in einem jüngeren Fall einer Mastodon-Instanz schon deshalb für riskant, weil Nutzer Bilder hochladen können. Solche Funktionen sind üblich, und obwohl es Moderation und Strategien gab, um bei illegalen Inhalten einzugreifen, war der prüfende Mitarbeiter an dem Tag möglicherweise überempfindlich, und es gab keine Möglichkeit, Einspruch einzulegen.
Nutzer laden zuerst Kiwix oder eine Browser-Erweiterung herunter und laden danach mit Kiwix Inhalte für die Offline-Nutzung herunter [1].
„Unser primäres Storage-Backend war vollständig unzugänglich geworden. Für normale Nutzer bedeutete das, dass sie nicht mehr auf die Bibliothek zugreifen und keine Dateien herunterladen konnten, und für uns bedeutete es, dass wir uns nicht einmal verbinden konnten, um nachzusehen, was schiefgelaufen war“ [2].
Möglicherweise wurden bei Wikimedia ein paar merkwürdige Bilder hochgeladen, diese automatisch auf den Hetzner-Server synchronisiert und dadurch ein Alarm ausgelöst.
Ob Hetzner die Daten gelöscht hat, ist schwer zu beurteilen, aber dass man offenbar nicht einmal versucht hat, das Kiwix-Team ordentlich zu kontaktieren, ist wirklich eine furchtbare Reaktion. Man musste doch wissen, dass das ein Team ist, das versucht, etwas Gutes für die Welt zu tun. Das ist dieselbe Kategorie wie Google, das kommentarlos den Zugriff von Nutzern auf ihre Konten sperrt, oder deutsche Unternehmen, die Forscher verklagen, die Sicherheitslücken gemeldet haben.
Hetzner sollte sich schämen.
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Moment mal, Hetzner hat wirklich alle Daten ohne Vorwarnung gelöscht?
Das ist komplett verrückt und kann ein Unternehmen ruinieren. Das könnte sowohl für Hetzners Ruf als auch für die Kunden verheerend sein.
Aber es ist billig, und die meisten werden vermutlich nicht einmal Leute finden, die sich online über das Unternehmen beschweren, wenn sie es recherchieren wollen, daher scheint der Schaden leider nicht groß gewesen zu sein.
Die Realität, dass Hetzner diese Macht hat und Daten irreversibel löschen kann, ist beängstigend.
Letztes Jahr hatte ich die Port-Konfiguration eines Docker-Dienstes falsch gesetzt, und jemand hat das ausgenutzt, um einen Port-Scanner laufen zu lassen. Da ich nicht zu Hause war, hätte ich, wenn ich die E-Mail zum Missbrauch des Dienstes nicht rechtzeitig gesehen hätte, ein paar Tage später zurückkommen und feststellen können, dass alle Daten gelöscht waren oder das Uptime-Monitoring komplett ausrastete.
Deutsche Unternehmen haben einen miserablen Kundensupport. Auch innerhalb der EU.
Ich habe keinen Mastodon-Account, von dem aus ich direkt antworten könnte, also hinterlasse ich das hier für die Person, die es hören sollte
Ich hatte selbst schon Probleme damit, dass Inhalte bei einem VPS-Anbieter entfernt wurden
Was bei mir gut funktioniert hat, war die Nutzung eines VPS-Anbieters, der in der Öffentlichkeit nicht sehr bekannt ist. Eine Zeit lang habe ich OVH genutzt, wegen der unbegrenzten Bandbreite und weil Wikipedia und Julian Assange OVH nutzten. Ob das immer noch so ist, weiß ich nicht, später habe ich die Inhalte auf ENS und IPFS verlagert
Wie auch immer, unabhängig davon, wo die eigentlichen Inhalte gehostet wurden, habe ich meinen „echten“ Server zum Ursprung der Inhalte gemacht und nach außen unsichtbar verborgen. Ich habe ihn per Firewall abgeschottet, sodass er nur von einem wegwerfbaren Squid-Proxy-Server mit einer 10-Zeilen-Konfigurationsdatei erreichbar war
Danach habe ich DNS und Cloudflare usw. auf die Squid-Knoten zeigen lassen, und es war mir egal, wenn diese Knoten ausfielen. Ich konnte innerhalb weniger Minuten an anderer Stelle neue ausrollen
Es gab keine „schlechten Inhalte“, ich hatte nur einen gnadenlosen Geschäftskonkurrenten, der ständig wie Tonya Harding attackierte. Auch deine Inhalte wirken nicht so aggressiv, deshalb teile ich das
Auf den vorgeschalteten VPS-Knoten muss man nur die echte Inhaltsadresse als Remote-Origin eintragen. Dann kennt außer dir niemand diesen Ort
Dann weiß in der Regel auch das Hosting-Unternehmen nicht, was es ist, es sei denn, sie durchsuchen die Dateien. Falls sie das tun, sind sie auch erledigt
Du kannst das als Methode zur Umgehung von Zensur weitergeben oder es wie exklusive Information für dich behalten. Wenn du ein Beispiel für eine Squid-Konfiguration brauchst, sag Bescheid. Es sind wirklich höchstens 10 Zeilen, und bei Google gibt es viele Beispiele
Die Latenz steigt ebenfalls deutlich, es kommen zusätzliche Fehlerquellen hinzu, und man muss die IPs der „vorgeschalteten“ Server mit dem „echten“ Server synchronisieren, damit der Zugriff erlaubt wird. Außerdem muss man zwei vertrauenswürdige Anbieter finden, jeweils einen für das „echte“ Hosting und das „vorgeschaltete“ Hosting. Wenn man denselben Anbieter nutzt, hat man dasselbe Problem wie im ursprünglichen Beitrag
Wenn es für dich gut funktioniert, ist das schön und Glückwunsch, aber ich glaube nicht, dass es das Problem vieler Menschen löst. Ich bezweifle sogar, dass es dein eigenes Problem wirklich löst; im Grunde ist es so etwas wie Cloudflare/Akamai zu nutzen, nur mit einem manuell auf einem VPS eingerichteten Proxy
Das ist nicht das erste Mal:
Auch hier eine negative Erfahrung. Wenn Hetzner für jemanden eine Urheberrechtsverletzungs-Meldung erhält, kontaktiert das Unternehmen den Kunden nicht zuerst. Es nimmt den Server einfach sofort offline und fordert dann eine Antwort
Das ist natürlich kein vernünftiges Verfahren, und ich kann Hetzner für kein produktives System empfehlen
Jedes Mal, wenn ich auf HN einen Beitrag über Hetzner sehe, macht mich das wütend. Solche Firmen sollten nicht beworben, sondern auf eine Blacklist gesetzt werden
Und ich frage mich auch, worum es auf der Website ging. Ich habe ebenfalls schon Mitteilungen bekommen, dass ich innerhalb von 24 Stunden antworten müsse und andernfalls der Server gelöscht werde. Aber ich habe immer geantwortet und die Vorgaben erfüllt, daher wurde mein Server nie gelöscht
Wenn du sie nicht entfernst, geht der Takedown zur Infrastruktur weiter. Du kannst einen Beitrag entfernen, aber dein Hosting-Anbieter kann nicht nur den Beitrag entfernen, sondern den ganzen Server abschalten. Und das muss er auch. Wenn er es nicht tut, drohen ihm Geldstrafen oder sogar Gefängnis
Jetzt müsste man die ganze Geschichte kennen. Gab es einen öffentlich verlinkten DMCA-Takedown-Antrag, und wurde die Anfrage tatsächlich bearbeitet, während der Beschwerdeführer das ignorierte und direkt zu Hetzner ging? Oder wurde einfach ein Server mit nutzergenerierten Inhalten betrieben und nach dem Motto „wird schon gutgehen“ improvisiert?
Ich sage nicht, dass du falsch liegst, aber du erzählst nur einen sehr kleinen Teil der Geschichte
Hetzner hat mein Konto gesperrt, weil ich ihnen 0,02 Euro schuldete
Ich konnte weder mit einer VISA-Kreditkarte noch mit einer VISA-Debitkarte oder Amex bezahlen, und sie verlangten eine Überweisung. Aber meine Bank erlaubte keine Überweisung über 0,02 Euro, weil der Betrag zu niedrig war
Aus purer Sturheit habe ich dann mein eigenes Rechenzentrum aufgebaut
Falls du Details teilen kannst, würde ich sie gern hören
Die Leute hören es zwar nicht gern, aber der Hetzner-Support ist miserabel
Wir hatten das Konto zwei Jahre lang und mehrere Auktionsserver im Einsatz und mussten den Support ein paar Mal kontaktieren; jedes Mal begann das Gespräch mit „Das ist nicht unsere Aufgabe“.
Angeblich helfen sie nur bei tatsächlichen Defekten, aber selbst bei realen technischen Problemen wie NVMe, das fast zum Stillstand kam, oder vorübergehenden Netzwerkproblemen verhielten sie sich so weit wie möglich nach dem Motto „Das interessiert uns nicht“.
Deshalb haben wir letzten Monat das Konto gekündigt.
Ich kann mir gar nicht vorstellen, wie schlimm es gewesen wäre, wenn sie wie beim OP alle unsere Daten gelöscht hätten