Hausdurchsuchung bei X-Büros in Frankreich, Großbritannien startet neue Untersuchung gegen Grok

• Die französische Cybercrime-Ermittlungsabteilung hat die Pariser Büros von X durchsucht und untersucht Vorwürfe wegen illegaler Datenextraktion und Beihilfe zum Besitz von Kinderpornografie
• Elon Musk und die frühere CEO Linda Yaccarino wurden zu einer Anhörung im April vorgeladen, während X die Untersuchung als „politischen Angriff“ zurückweist
• Das britische Information Commissioner’s Office (ICO) hat eine separate Untersuchung gegen das KI-Tool Grok eingeleitet, weil es sexuelle Bilder und Videos erzeugen könnte
• Ofcom behandelt die Verbreitung sexueller Deepfakes auf der Plattform X als dringende Angelegenheit, erklärte jedoch, dass ihm Befugnisse in Bezug auf Chatbots fehlten
• Durch die parallelen Untersuchungen in Europa und Großbritannien weitet sich die internationale Prüfung der Verantwortung von X und Grok für Datenverarbeitung und Content-Moderation aus

---

Hausdurchsuchung bei X in Frankreich

• Die Cybercrime-Abteilung der Staatsanwaltschaft Paris hat die Büros von X durchsucht
  • Zu den Vorwürfen gehören illegale Datenextraktion, Beihilfe zum Besitz von Kinderpornografie sowie Verletzung von Persönlichkeitsrechten durch sexuelle Deepfakes
  • Die Ermittlungen begannen im Januar 2025 mit einer Untersuchung der Inhalte des Empfehlungsalgorithmus von X und wurden im Juli desselben Jahres auf den KI-Chatbot Grok ausgeweitet
• Die Staatsanwaltschaft prüft, ob X gegen mehrere Gesetze verstoßen hat, und Musk und Yaccarino wurden zu einer Anhörung im April vorgeladen
• X wies die Vorwürfe in einer Erklärung zurück und bezeichnete sie als „missbräuchliches Vorgehen, das die Meinungsfreiheit bedroht“
  • Musk schrieb auf X von einem „politischen Angriff“, und Yaccarino sprach von „politischer Vergeltung gegen Amerikaner“

Untersuchung zu Grok in Großbritannien

• Die britische Ofcom untersucht weiter einen Vorfall, bei dem von Grok erzeugte sexuelle Deepfake-Bilder auf X verbreitet wurden
  • Opfer, Politiker und Organisationen für Online-Sicherheit hatten dies im Januar scharf kritisiert
  • X blockierte dieses Verhalten anschließend, und Ofcom behandelt es als „dringende Angelegenheit“
• Ofcom erklärte jedoch, dass ihm die Befugnisse fehlten, die Erzeugung illegaler Bilder durch Chatbots direkt zu untersuchen
• Daher will das ICO in Zusammenarbeit mit Ofcom die Art und Weise untersuchen, wie Grok personenbezogene Daten verarbeitet
  • William Malcolm vom ICO erklärte, es sei „ein schwerwiegendes Problem, dass mithilfe personenbezogener Daten ohne Einwilligung sexuelle Bilder erzeugt wurden“
• Ende Januar kündigte auch die Europäische Kommission eine separate Untersuchung gegen xAI, die Muttergesellschaft von Grok, an
  • Ein Sprecher der Kommission erklärte, man stehe wegen der Durchsuchung der X-Büros in Kontakt mit den französischen Behörden

Kritik von Pavel Durov

• Telegram-Gründer Pavel Durov kritisierte die französischen Behörden und behauptete, Frankreich sei „kein freies Land“
  • Er schrieb, Frankreich sei „das einzige Land, das jedes soziale Netzwerk strafrechtlich verfolgt, das Freiheit zulässt“
• Durov wurde im August 2024 in Frankreich wegen des Vorwurfs, kriminelle Aktivitäten auf der Plattform zu dulden, festgenommen und erhielt nach teilweisen Änderungen der Betriebsweise im März 2025 die Erlaubnis zur Ausreise
  • Zu den Änderungen gehörte auch die Bereitstellung von Nutzerdaten auf rechtliche Anfrage

[GN⁺]

Hacker-News-Kommentare

• An diejenigen, die sagen, eine physische Hausdurchsuchung sei sinnlos:
  Das mag für ein normales Unternehmen gelten, das sich an Gesetze hält, aber sobald etwas Verdächtiges läuft, verschwinden alle Good Practices.
  E-Mails werden wie Chiffren geschrieben oder gelöscht, Aufzeichnungen werden versteckt, aber am Ende bleiben doch Spuren zurück.
  Genau deshalb braucht man echte Durchsuchungen, um komplexe Aktivitäten nachzuvollziehen.

  • Das ist einfach ein normales Ermittlungsverfahren.
    Wenn ein Straftatverdacht besteht, muss man Beweise sichern. Ohne Durchsuchung Anklage zu erheben, ergibt keinen Sinn.
  • Wenn es nur um „AI-Nudes“ geht, finde ich das überzogen.
    Von KI erzeugte Bilder sind letztlich nur gefälschte digitale Zeichnungen, aber es wirkt, als würde man daraus staatlich orchestrierte Empörung machen.
    Das ist Spielzeug auf dem Niveau pubertierender Jungen, daraus eine nationale Empörungsshow zu machen, ist lächerlich.
  • Tatsächlich wirkt diese Durchsuchung eher wie ein Mittel, das Unternehmen zu bestrafen, nicht wie ein Versuch, Daten zu Grok zu beschaffen.

• Keine Plattform sollte CSAM (Darstellungen sexuellen Kindesmissbrauchs) zulassen.
  Aber X gibt kein Geld für Schutzmechanismen oder Content-Filtering aus. Das ist keine Frage von Zensur, sondern der Verweigerung von Verantwortung.

  • Sehe ich anders. Bestraft werden sollten die Nutzer, nicht die Leute, die das Werkzeug gebaut haben.
    Wenn man beginnt, die Anbieter von Werkzeugen verantwortlich zu machen, führt das am Ende zu einem Abbau von Freiheit.
  • Früher gab es solche Inhalte auch auf Twitter, BlueSky und Mastodon. Das ist nichts Neues.
  • Schon in den 90ern verbreitete sich CSAM im Internet, und auch damals war die Gesellschaft schockiert.
    Deshalb frage ich mich, warum man jetzt plötzlich so hart reagiert.
    Vielleicht ist das nach dem Epstein-Fall nur eine „Scheinrazzia“, um Vorwürfe gegen die Oberschicht zu überdecken.
  • Früher bedeutete CSAM tatsächliche Kinder, inzwischen fallen auch KI-generierte Bilder darunter.
    Muss man dann auch gewalttätige KI-Bilder verbieten? Ist Grausamkeit auf Filmniveau noch in Ordnung?
    Wo genau die Grenze des „Nicht-Zulässigen“ liegt, bleibt unklar.
  • Ich habe nie Beweise dafür gesehen, dass Grok tatsächlich CSAM erzeugt hat.
    Montagen mit Bademode habe ich gesehen, aber nach der gesetzlichen Definition ist das kein CSAM.

• Es heißt, es gehe um den Vorwurf des „organisierten Datenbetrugs“; wenn das weit ausgelegt wird, könnte das die gesamte Social-Media-Branche stark betreffen.

  • Das wirkt wie eine Ermittlung nach dem Muster „Man sucht sich die Person aus und findet dann die Straftat“.
    Es sieht so aus, als wolle die EU wie China oder Russland die Kontrolle über ausländische soziale Medien verschärfen.
    Wenn die USA Einschränkungen der Meinungsäußerung nicht stärker akzeptieren, wird die EU wohl ihre eigenen Alternativen forcieren.

• Ganz HN-typisch diskutieren alle hitzig über Rechtsstaatlichkeit und CSAM.

• Es gibt Berichte, dass die Brüder, denen X/Grok gehört, mit einem vorbestraften Kindersexhändler in Verbindung stehen.
  Grok wird schon als Kinderporno-Generator bezeichnet, und trotzdem tun manche das weiterhin als „Verschwörungstheorie“ ab.

• Die französische Staatsanwaltschaft ermittelt gegen X wegen mehrerer mutmaßlicher Gesetzesverstöße, aber das wirkt wie bloßer politischer Druck.
  Außer der Schikane lokaler Mitarbeiter bringt das keinen echten Nutzen.

  • Andererseits ist die Sicherstellung von Unterlagen auch ein normales Ermittlungsverfahren.
    Das französische Justizsystem ist vernünftig, daher würde ich ohne besondere Gegenbeweise von einer legitimen Ermittlung ausgehen.
  • Es gibt Hinweise darauf, dass das Unternehmen tatsächlich mit der Verbreitung von CSAM und Deepfake-Pornografie Geld verdient hat.
    Um festzustellen, ob Vorsatz vorlag, braucht es eine Durchsuchung.
    Die rechtliche Diskussion dazu wird auch in diesem Paper behandelt.
  • Trotzdem ist das politischer Druck. Die EU duldet keinen Widerspruch.
  • OpenAI und Google haben ähnliche Probleme.
    Selbst wenn man Unmengen an Geld ausgibt, lässt sich der Missbrauch von KI kaum vollständig verhindern.

• Ich frage mich, was man bei einer Razzia im französischen Büro überhaupt finden will. Einen „CSAM-Plan für Grok“?

  • Überraschenderweise schreiben Menschen ihre kriminellen Pläne tatsächlich in E-Mails nieder.
    Ein Beispiel sind interne Facebook-Dokumente.
  • Vermutlich sucht man nach internen Entscheidungsprotokollen, die zeigen, ob man wusste, dass Grok problematische Bilder erzeugt, und trotzdem nichts unternommen hat.
  • Es könnte E-Mails geben, in denen die französische Niederlassung die Zentrale vor möglichen Gesetzesverstößen gewarnt hat.
  • Laut einem WaPo-Artikel hat xAI die Beschränkungen für sexuelle Inhalte absichtlich gelockert.
    Es gibt auch Aussagen, dass Mitarbeiter das Modell mit riskanten Inhalten trainiert haben.
    Das Ermittlungsteam sucht offenbar nach solcher interner Kommunikation und nach ignorierten Warnungen.
  • Seit der Veröffentlichung der Epstein-Akten halte ich es für wahrscheinlicher, dass solche „E-Mails mit kriminellen Plänen“ tatsächlich existieren.

• Dieser Fall liefert den Befürwortern von KI-Zensur nun zusätzliche Argumente.
  KI-Unternehmen werden künftig wohl eher für das Modell selbst verantwortlich gemacht als für die Nutzer.
  Am Ende dürfte das Closed-Modelle und Identitätsprüfung weiter stärken.

  • Im Grunde nicht anders als bei anderen Plattformen. Der Unterschied ist nur, dass es diesmal um „Erzeugung“ statt um „Verbreitung“ geht.
  • Das Problem ist nicht die Möglichkeit der Erzeugung, sondern dass man sie offenbar kannte und trotzdem beworben hat.
    Ob tatsächliche Kenntnis vorlag, ist der zentrale Punkt der rechtlichen Verantwortung.
  • Es ist fraglich, ob X genug getan hat, um die Verbreitung illegaler Inhalte zu verhindern.
    Durch das Hinzufügen einer KI-Generierungsfunktion hat man die Produktion illegaler Inhalte womöglich sogar noch gefördert.
  • Ich sehe das nicht als Zensur, sondern als Sanktion gegen eine nicht ausgerichtete Plattform.
    Die EU betrachtet diese Plattform seit der Übernahme von X offenbar als Störfaktor.
  • Es geht nicht um „Zensur“, sondern schlicht um betriebliche Verantwortung.
    Wenn man ohne Filter einfach alles laufen lässt, ist das klare Fahrlässigkeit.

• Diese Kontroverse dürfte sich auch negativ auf einen SpaceX-IPO auswirken.

  • Falls die Ermittlungen gegen xAI auch Verträge mit SpaceX betreffen, könnte das wegen möglicher Interessenkonflikte leicht zu Klagen führen.

• Dass „ein Russe in einem französischen Gefängnis über Freiheit spricht“, hat etwas Ironisches.
  Es klingt wie die Botschaft, dass Frankreich solche Kriminellen nicht willkommen heißt.