- Die Chatbot-Plattform JanitorAI, auf der personalisierte KI-Charaktere erstellt und für Gespräche genutzt werden können, hat offiziell angekündigt, den Dienst im Vereinigten Königreich (England, Schottland, Wales und Nordirland) ab dem 24. Juli zu sperren
- Grund dafür seien die überzogene Regulierung durch den britischen Online Safety Act sowie die hohe rechtliche und finanzielle Belastung (Geldbußen von bis zu 18 Millionen Pfund, mögliche strafrechtliche Konsequenzen für das Management)
- Pflichten auf dem Niveau von Großunternehmen wie rechtliche Risikobewertungen, Aufbau biometrischer Verifikationssysteme und laufende rechtliche Prüfungen würden auch auf kleinere Dienste angewendet und schüfen damit faktisch eine Markteintrittsbarriere für kleine Plattformen
- JanitorAI beschreibt den Abschied von der britischen Community als „unvermeidliche Entscheidung zum Schutz des Teams“ und prüft verschiedene Möglichkeiten zur künftigen Einhaltung der Vorschriften, darunter etwa eine Altersverifikation für Minderjährige
- Für Nutzer entstehen keine weiteren Nachteile außer der Zugriffssperre; Konten werden nicht gelöscht, vielmehr wird der Zugang lediglich von britischen IP-Adressen aus eingeschränkt
Ankündigung der Sperrung und Hintergrund
- JanitorAI hat angekündigt, den Zugriff innerhalb des Vereinigten Königreichs ab dem 24. Juli 2025 um 23:59 Uhr (UTC) zu sperren
- Die Mitteilung erfolgte kurzfristig, nur vier Tage im Voraus, und das Unternehmen entschuldigte sich bei den britischen Nutzern
Auswirkungen des britischen Online Safety Act
- Das Serviceteam hatte den Online Safety Act zunächst missverstanden und erst spät erkannt, dass es nicht nur um einfache Inhaltsmoderation geht, sondern dass für alle Plattformen Regulierung auf dem Niveau von Großunternehmen gilt
- Rechtliche Risikobewertungen, biometrische Verifikation (z. B. Reddits Einsatz von Persona – 1,5 Dollar pro Person) und fortlaufende rechtliche Prüfungen auferlegen kleinen Anbietern Verpflichtungen in einem kaum tragbaren Ausmaß
- Bei Verstößen drohen Geldbußen von bis zu 18 Millionen Pfund sowie strafrechtliche Verantwortung für das Management (einschließlich möglicher Haftstrafen)
Nicht erfüllbare Compliance und Kritik an der Politik
- Mit rund 250 Seiten Gesetzestext, über 3.000 Seiten Ofcom-Richtlinien und dem Fehlen von Ausnahmeregelungen für kleine Plattformen sei die Einhaltung der Vorschriften in der Praxis unmöglich
- Kritiker sagen, die britische Regierung präsentiere sich zwar als Hub für Innovation, schaffe in Wirklichkeit aber eine Struktur, die nur Großunternehmen wie Google aushalten könnten
Auswirkungen auf Nutzer und Hinweise
- Ab dem 24. Juli wird beim Zugriff auf JanitorAI von einer britischen IP-Adresse aus eine Sperrseite angezeigt
- Konten von im Vereinigten Königreich lebenden Nutzern werden nicht gelöscht; es gilt lediglich eine Zugriffsbeschränkung
- Wenn Nutzer die Sperre umgehen, liegt die rechtliche Verantwortung nur beim Diensteanbieter (der Plattform); für Nutzer selbst gibt es keine rechtlichen Sanktionen
Zukunftspläne und Einordnung der Position
- JanitorAI hat den britischen Markt nicht vollständig aufgegeben und prüft aktiv zusätzliche Wege zur Compliance, darunter eine Verifikation Minderjähriger
- Mit der Sorge, dass „viele innovative Plattformen dieselbe Entscheidung treffen werden“ und dass „das Vereinigte Königreich sich von globaler Innovation selbst isoliert“, bittet das Unternehmen Nutzer und Regierung um Unterstützung bei einer Petition zur Überprüfung der Regulierung
- Das JanitorAI-Team betont, dass es sich um eine vorübergehende Sperrmaßnahme handelt, und lässt eine Wiederaufnahme des Dienstes offen, falls die Anforderungen künftig erfüllt werden
Missverständnisse ausräumen (FAQ)
- Nutzer im Vereinigten Königreich werden für die Nutzung von JanitorAI nicht bestraft; strafrechtliche Folgen oder Geldbußen betreffen nur die Plattformbetreiber
- Keine Kontolöschung; es wird nur der Zugriff von britischen IP-Adressen blockiert
- Wenn Nutzer über andere Wege zugreifen, geschieht dies auf eigene Entscheidung; es wird erneut betont, dass keine rechtlichen Nachteile entstehen
1 Kommentare
Hacker-News-Kommentare
Ich kenne das Unternehmensumfeld in Europa und im Vereinigten Königreich gut. Das gilt nicht nur für Behörden, sondern auch für große Banken und ähnliche Organisationen. Es werden zwei Arten von Mitarbeitern eingestellt: diejenigen, die die eigentliche Arbeit machen, und diejenigen, die unter dem Banner von Risikomanagement, Compliance, Sicherheit und Regulierung (RCSR) möglichst viele Hürden aufbauen. Für RCSR-bezogene Rollen werden drei Mal so viele Leute eingestellt wie für technische Stellen. Diese Leute produzieren Richtlinien von Tausenden Seiten, sodass es praktisch unmöglich wird, Arbeit voranzubringen. Unser Technikteam wartet inzwischen seit vier Monaten allein auf die Genehmigung, ein Datenbank-Upgrade zu testen. Das Top-Management kann sich RCSR, das Macht wie der Klerus der mittelalterlichen Kirche besitzt, niemals widersetzen. Sie betrachten alles, was sich bewegt, als Risiko und haben keine Ziele, die mit tatsächlichen Ergebnissen zusammenhängen. Manager glauben, dass RCSR bei der Kontrolle hilft, aber in Wirklichkeit wächst nur sinnlose Arbeit, und das Unternehmen sperrt sich selbst hinter Mauern ein, die es sich selbst gebaut hat
Je stärker die RCSR-Überwachung wird, desto schlechter wird die tatsächliche Sicherheit. Policy-Teams verstehen die Technik nicht gut und versteifen sich auf Unwichtiges, wodurch die Energie der Entwicklung verschwendet wird. Zum Beispiel musste unser Team zwei Wochen lang Helm-Charts anpassen, nur um die CIS-Richtlinie für k8s einzuhalten, dass „keine Secrets in Umgebungsvariablen gespeichert werden sollen“. Das ist nur eine dauerhafte Last für die Zukunft und hat kaum einen realen Sicherheitseffekt. In dieser Zeit hätten wir stattdessen grundlegend nützliche Sicherheitsmaßnahmen wie Netzwerk-Policies oder CSP umsetzen können. Weiter oben im Prozess gibt es nur Metriken, die Risiko und Auswirkungen betrachten, aber keinerlei Bewertung des tatsächlichen Aufwands und der Ergebnisse. Am Ende bleibt keine Engineering-Arbeit übrig, sondern nur sinnlose Beschäftigung
So dürfte es sich anfühlen. Tatsächlich neigen Engineers dazu, gegenüber Daten abgestumpft zu sein. Rechtliche Frameworks werden oft von Leuten geschaffen, die die Praxis nicht kennen, deshalb gibt es viele schreckliche Gesetze. Aber in der realen Welt kann jederzeit jemand klagen, wenn man gegen ein Gesetz verstößt, also muss man ständig angespannt sein. In den USA kann insbesondere eine Privatperson direkt auf Grundlage solcher Gesetze klagen. Natürlich sind die meisten Compliance-Anforderungen an sich nicht besonders kompliziert, aber sie kollidieren mit den Gewohnheiten der Softwareentwicklung, in denen freie Datennutzung der Standard ist, und genau das macht sie noch nerviger. Früher war das bei einem öffentlichen Blog vielleicht weniger problematisch, aber heute hängen daran medizinische Daten, Finanzdaten und Ähnliches von Menschen, und wenn etwas schiefläuft, kann es zu Fällen wie Cambridge Analytica kommen, sodass die Verantwortung viel schwerer wiegt. Es ist mühsam, aber als Engineers müssen wir uns der Folgen und Verantwortung dessen bewusst sein, was wir bauen. Dieser Mangel an Bewusstsein verursacht die großen Vorfälle der Branche
In den USA gibt es ein ähnliches, wenn auch etwas weniger schweres Problem. Niemand kann sich mit Abteilungen für Compliance anlegen. Wenn es zu einer Klage kommt, lautet die Frage: „Warum habt ihr den Rat des Compliance-Teams ignoriert?“, und sogar der rechtliche Schutzschirm des Unternehmens kann dadurch wegfallen. Das Compliance-Team interessiert sich nicht dafür, das Geschäft voranzubringen, und umgekehrt sieht das operative Geschäft kaum einen Anreiz in der Einhaltung von Vorschriften. Am Ende bleibt wegen des ständigen Prozessrisikos nur ein vorsichtiger Ansatz übrig, der Compliance immer den Vorrang gibt
Das ist kein auf Europa begrenztes Problem. Ich habe in den USA bei sehr ähnlichen Unternehmen gearbeitet. Das Problem ist die Anreizstruktur: Schon die Angst, dass selbst ein kleiner Regelverstoß das Unternehmen schließen könnte, ist da (zumindest nimmt das Management das so an), und es gibt keinen Nachteil, wenn man die eigentliche Aufgabe nicht erfüllt. Deshalb wird Nichtstun zur rationalen Wahl
Du hast gesagt, dass ihr schon vier Monate auf die Freigabe zum Test eines Datenbank-Upgrades wartet, und ich habe mich schon beschwert, wenn die Umsetzung nach einer Änderung bis zur Produktion einen Tag dauerte. Bei meinem früheren Arbeitgeber waren es vier Stunden. Wenn man die Automatisierungssysteme und Prozesse gut aufsetzt, könnten die meisten Änderungen wohl per Schnellfreigabe durchgehen. Es ist frustrierend, dass die organisatorische Reaktion bei Problemen oder regulatorischen Änderungen immer nur darin besteht, mehr Leute zu schaffen, die „NEIN“ sagen können
Ich halte den britischen Ansatz zur Online-Sicherheit für unrealistisch und mag ihn nicht. Gesetze wirken immer so, als seien sie von Leuten geschrieben, die ihre E-Mails ausdrucken und zum Lesen mitnehmen würden. Das heißt aber nicht unbedingt, dass „kleine Plattform = ausgenommen“ sinnvoll wäre. Wenn das Ziel ist, Kinder zu schützen, dann ist gefährlicher Content wie etwa Suizidförderung unabhängig von der Größe der Plattform ein Problem. Kleine und wenig bekannte Orte wie bestimmte chan-Seiten könnten sogar gefährlicher sein
Kleine Unternehmen wollen keine vollständige Ausnahme, sie wollen nur, dass Regulierung zumindest auch dann umsetzbar ist, wenn man kein Großkonzern ist. Beim Beispiel der Plastikverpackungssteuer kann ein Unternehmen wie Amazon ein Team darauf ansetzen und gut damit umgehen, während ein kleiner Selbstständiger schon allein an der Verwaltungslast Schaden nehmen kann. Wenn man für Unternehmen unterhalb eines bestimmten Umsatzes eine Pauschalstruktur mit geringerem Verwaltungsaufwand einführen würde, könnte man den eigentlichen Zweck erhalten und zugleich realen Schaden vermeiden
Das Problem ist die Effizienz des Gesetzes. Wenn man zur Verhinderung eines Asteroideneinschlags für alle Gebäude ein einen Meter dickes Betondach vorschreibt, dann wird die Last für kleine Gebäude enorm, während große Gebäude kaum betroffen sind. So absurd es wirkt: Regulierungen dieser Art drängen kleine Unternehmen aus dem Markt und lassen nur kapitalkräftige Großunternehmen überleben. Je geringer die allgemeine Risikobereitschaft einer Gesellschaft wird, desto natürlicher folgt daraus auch regulator capture zugunsten großer Unternehmen
Das Vereinigte Königreich ist ein Paradebeispiel dafür, wie Tech-Regulierung in der Realität funktioniert. Mir ist auch aufgefallen, dass es in letzter Zeit auf Hacker News immer mehr Kommentare gibt, die Regulierung fordern. Gerade bei Beschwerden über Fehler in LLMs oder urheberrechtsähnliche Ausgaben kommt oft die Reaktion „reguliert das“ oder „bestraft sie“. Viele Menschen glauben, dass starke Regulierung nur große Unternehmen bestraft und Verbraucher dann perfekte Produkte bekommen. In Wirklichkeit führt strenge Regulierung aber dazu, dass Unternehmen sich aus dem betreffenden Land zurückziehen und Nutzer die Dienste trotzdem weiter per VPN verwenden. Unternehmen meiden regulierte Länder oder geben den Markt auf. Wenn man auf die Nebenwirkungen von Regulierung hinweist, wird das oft leicht mit „Dann hätte man kleine Firmen eben ausnehmen sollen“ abgetan. Wer strenge Tech-Regulierung in der Realität aus der Nähe erlebt, entwickelt oft eher Abneigung dagegen
Das eigentliche Endziel britischer Online-Regulierung läuft oft auf „Überwachung“ hinaus. Über sinnvolle Nutzung von Daten macht man sich wenig Gedanken, aber Gesetze zur Überwachung werden mit geradezu besessener Hartnäckigkeit vorangetrieben
Solche Fälle wie diesmal passieren inzwischen immer wieder, etwa https://www.thehamsterforum.com/threads/big-sad-forum-news-online-safety-act.2091/ (zur Einordnung: Im Vereinigten Königreich wird damit tatsächlich sogar ein Hamsterliebhaber-Forum rechtswidrig)
Wenn man sieht, dass thehamsterforum sogar vorschlägt, vollständig zu Instagram umzuziehen, versteht man, warum große Unternehmen solche Gesetze eher begrüßen. Je mehr Regulierung es gibt, desto höher werden die Markteintrittsbarrieren, und nur Großunternehmen mit internen Anwaltsteams qualifizieren sich noch für die Teilnahme am Dienstegeschäft
Ich frage mich, aus welchem Grund das Forum nach irgendeinem „neuen Etwas“ den Betrieb wieder aufgenommen hat. Sie sagen, sie hätten durch Änderungen an den Nutzungsbedingungen und die Einführung neuer Moderationstools Compliance erreicht, aber ich frage mich ernsthaft, zu welchem Schluss sie gekommen sind, dass das Risiko nun unbedenklich sei, und ob diese Tools wirklich ausreichend sind
Das Forum läuft auch jetzt noch, deshalb frage ich mich, ob der ursprüngliche Beitrag schlicht falsch war
Deshalb wirkt das Café in der Serie Fleabag wahrscheinlich alltäglicher auf mich (auch wenn Meerschweinchen und Hamster nicht dasselbe sind)
Ich kenne den Dienst nicht gut, aber auf der Website steht, dass es sich um einen 18+-Dienst handelt und dass „Kinderpornografie, sexuelle Darstellungen Minderjähriger, exzessive Gewalt, Bestialität und sexuelle Gewalt“ verboten sind. Ich stimme dem Online Safety Act nicht zu 100 % zu, aber für Dienste dieser Art scheint eine gesonderte Risikobewertung durchaus nötig zu sein
Nur nach dem Artikel wirkte das problematisch, aber nachdem ich mir die Website selbst angesehen habe, scheint die Beschreibung unvollständig zu sein und es gibt Risikofaktoren, sodass irgendeine Form von Regulierung nötig erscheint. Ich frage mich aber, ob ähnlich betroffene, aber weniger riskante Dienste genauso mitbetroffen sind
Soweit ich weiß, besteht die Hauptfunktion dieses Dienstes darin, Nutzern AI-Modelle mit minimaler Zensur bereitzustellen. Verboten sind nur illegale Inhalte (wobei „illegal“ nicht nur staatliche Gesetze, sondern auch Regeln von Zahlungsdienstleistern wie Visa/Mastercard umfasst), also ist ansonsten praktisch alles möglich. Wahrscheinlich gibt es wegen der Nachfrage des Erwachsenenmarkts viele sexuelle Inhalte, aber das liegt an der Marktnachfrage, nicht an der Natur des Dienstes selbst
Ihr eigentliches Problem ist nach eigener Aussage weniger die Risikobewertung an sich als deren Umfang und die überhöhten Kosten
Dort steht der Satz: „Einen Weg zu finden, auf die Seite zuzugreifen, liegt letztlich in der Verantwortung des Nutzers, und der Nutzer wird nicht bestraft.“ Wenn Betreiber sich wirklich um ihre rechtliche Verantwortung sorgen, hätten sie so etwas nicht schreiben sollen; dieser Teil schwächt das Vertrauen in den Beitrag und in ihre Compliance-Bemühungen
Nutzer mit VPN zu blockieren, ist praktisch fast unmöglich. Solange eine Regierung nicht alle ISPs kontrolliert — und selbst für das Vereinigte Königreich wäre das wohl zu weitgehend — kann ein normaler Staat den Betreiber dafür nicht verantwortlich machen
Der Betreiber hat klar gesagt, dass er den britischen Markt wieder betreten und vollständige Compliance erreichen will. Man hat nur den Geltungsbereich der Regulierung falsch eingeschätzt und deshalb den Dienst in Großbritannien vorläufig gesperrt
Es ist wirklich frustrierend, dass Gesetze und Regulierung die Größe des Anbieters nicht berücksichtigen. Immer werden große Anbieter als Bösewichte dargestellt, und unter dem Banner „Wir müssen die Kinder schützen“ sammelt man politische Zustimmung, aber in Wirklichkeit profitieren Großunternehmen davon. Nur Großunternehmen können sich all die Kosten wie Rechtsberatung leisten und dadurch den ganzen Markt besetzen. Beim AI Act wird es ebenso sein: Sowohl kleine und mittlere Unternehmen als auch Verbraucher werden voraussichtlich darunter leiden
Tatsächlich nimmt auch dieses Gesetz die Größe des Anbieters implizit in den Blick, das Problem ist nur, dass die Grundlinie selbst auf Großunternehmen zugeschnitten ist. Diese Struktur ist durch langjähriges Lobbying großer Unternehmen entstanden. Das Vereinigte Königreich gilt offiziell als relativ wenig korrupt, aber wenn man sieht, wie Entscheidungen tatsächlich zustande kommen, ist Korruption dort eher häufig. Dieses Gesetz hat kaum öffentliche Unterstützung. Mit Medienkampagnen in Zeitungen und anderswo werden immer Kinder vorgeschoben, aber der eigentliche Gesetzestext ist vom behaupteten Zweck weit entfernt. Es gibt Wahlen, aber die Politik ändert sich nicht
Das ist regulator capture. Die Auswirkungen auf kleine Unternehmen sind ebenfalls ein beabsichtigtes Ergebnis
Eine Erläuterung der einschlägigen Vorschriften gibt es hier: https://www.gov.uk/government/publications/online-safety-act-explainer/online-safety-act-explainer#who-the-act-applies-to. So wie ich das lese, müsste Amazon für mehr als 80 % seines gesamten Buchbestands eine Altersverifikation verlangen, und für die übrigen 20 % würde es aufgrund der sehr weit gefassten Definition einer „kindgerechten Online-Erfahrung“ ebenfalls Verantwortung tragen. Wie janitorai angemerkt hat, gilt dieses Gesetz für sie, und auch alle von ihnen erzeugten Inhalte fallen darunter. Den Zugang zum britischen Markt zu sperren ist wahrscheinlich die beste Reaktion. Soweit ich sehe, gilt das Gesetz übrigens nicht für Websites der ersten Ebene, wenn es keine Interaktion zwischen Besuchern gibt. Ein Blog ohne Kommentare wäre zum Beispiel in Ordnung
Die Klarstellung von Ofcom ist anders: https://www.theregister.com/2025/02/06/uk_online_safety_act_bloggers/
Vielleicht ist sogar ein Blog mit Kommentaren in Ordnung: https://onlinesafetyact.co.uk/ra_blog_with_comments/
So wie ich das Gesetz grob verstanden hatte, dachte ich, es gelte erst ab ein paar Millionen britischen Nutzern https://www.onlinesafetyact.net/analysis/categorisation-of-services-in-the-online-safety-act. Ich bin mir nicht sicher, ob diese Website wirklich darunterfällt oder ob ich das komplett missverstanden habe (ich bin kein Anwalt)
Das ist nur der Schwellenwert für zusätzliche Anforderungen. Alle (sofern sie nicht unter besondere Ausnahmeregelungen fallen) haben „Pflichten zum Schutz der Nutzer“. Allein das klingt schon nach komplexen und teuren administrativen Anforderungen. Und um festzustellen, ob man überhaupt unter eine Ausnahme fällt, entstehen schon Anwaltskosten. Das Gesetz selbst ist vage und hat zu viele unerwartete Grauzonen. Es ist keine „Ruling“, sondern ein Gesetz mitsamt Durchführungsregeln. Relevantes PDF: https://www.ofcom.org.uk/siteassets/resources/documents/consultations/category-1-10-weeks/263963-categorisation-research-and-advice/categorisation-research-and-advice.pdf
Die Checkliste von Ofcom dazu, ob ein Dienst erfasst ist, verwendet solche Schwellen nicht; dort scheint schon ein einziger zahlender Kunde im Vereinigten Königreich auszureichen https://ofcomlive.my.salesforce-sites.com/formentry/RegulationChecker
Schon das Konzept, dass „Leute aus unserem Land haben auf deine Website zugegriffen“ bedeuten soll, unser Land könne deshalb Zuständigkeit beanspruchen und sogar strafrechtlich gegen den Server (im Ausland gehostet) und den Betreiber (im Ausland wohnhaft) vorgehen, ist schwer zu ertragen
Die Quelle beschreibt nicht, wie das Gesetz tatsächlich angewendet wird, sondern was Stand 2024 vorgeschlagen war
Umfangreiche Gesetze von Hunderten Seiten haben immer viele Grauzonen. Das Vereinigte Königreich ist in letzter Zeit zu einem Land geworden, das Menschen wegen Online-„Verbrechen“ tatsächlich festnimmt, und deshalb kommen nun sogar solche törichten Gesetze heraus
Deshalb wirkt es fast so, als bewege sich das gesamte Internet auf eine Art Kessler-Syndrom-Krise zu. Auch in den USA versuchen alle 50 Bundesstaaten, AI eigenständig zu regulieren; ursprünglich sollte OBBB das zehn Jahre lang unterbinden, aber das ist gescheitert. Jetzt kann jeder Bundesstaat seine eigenen Regeln schaffen. Es ist inzwischen fast unmöglich, allen unterschiedlichen Vorschriften weltweit gleichzeitig zu entsprechen
Wenn die Betriebskosten zu stark steigen, bleiben global am Ende nur noch einige wenige ultragroße Websites übrig, während Hunderte kleiner Seiten regional per Geoblocking überleben. Solange der Cyberspace Geld verdient und für Dinge wie Identitätsprüfung die reale Welt nutzt, kann er letztlich nicht unabhängig sein https://www.eff.org/cyberspace-independence
Die Balkanisierung des Internets ist letztlich ein unvermeidliches Ende. Die Alternative wäre, dass Staaten die Souveränität über heute essenzielle Infrastruktur ans Ausland abgeben, und diese Entscheidung treffen Regierungen nicht. Als das Internet nur ein Hobby war, ging das noch, aber heute ist es Grundlage des Lebens, also ist es nicht mehr hinnehmbar, die Souveränität über Infrastruktur an ausländische Regierungen und Big Tech abzugeben
Jedes Mal, wenn „Balkanisierung des Internets“ in den öffentlichen Diskurs kommt, reagiere ich eher positiv auf diese Tendenz. Ich finde, eine so unmittelbare globale Kommunikation sollte erst dann erlaubt sein, wenn die Menschheit bereit ist, die Verantwortung dafür zu tragen
Auch ich werde beim Betrieb von Marginalia Search wohl britische Besucher sperren müssen. Als Solo-Entwickler kann ich die ganzen rechtlichen Anforderungen nicht schultern :-/