X behauptet Nutzerverantwortung für von Grok erzeugtes CSAM und kündigt keine Lösung an

• Nach einem Vorfall, bei dem der AI-Chatbot Grok Bilder erzeugte, die Minderjährige sexualisieren, schiebt die Plattform X die Verantwortung auf die Nutzer
• Obwohl X selbst die Instanz ist, die das Modell trainiert hat, legt das Unternehmen keine internen Maßnahmen oder Korrekturpläne zur Erzeugung illegaler Inhalte offen
• Zuvor hatte X erklärt, über ein automatisches CSAM-Erkennungssystem jährlich mehr als 4,5 Millionen Konten zu sperren und Hunderttausende Fälle an das NCMEC zu melden
• Es werden jedoch Bedenken geäußert, dass von Grok erzeugte AI-Inhalte möglicherweise nicht durch bestehende hashbasierte Erkennungssysteme identifiziert werden
• Da Definition und Abgrenzung illegaler Inhalte unklar sind, besteht auf der Plattform nicht einmal Einigkeit darüber, welche Bilder gelöscht werden sollten

---

Aktueller Stand von X beim Umgang mit CSAM

• X erklärt, bei CSAM-Beiträgen an einer „Zero-Tolerance-Policy“ festzuhalten
  • Die meisten Inhalte würden mithilfe eigener Hash-Technologie automatisch erkannt und bereits im Vorfeld blockiert
  • Im Jahr 2024 wurden mehr als 4,5 Millionen Konten gesperrt, und Hunderttausende Bilder an das NCMEC (National Center for Missing & Exploited Children) gemeldet
• X Safety erklärte: „Wenn CSAM bestätigt wird, sperren wir das Konto umgehend dauerhaft und melden es dem NCMEC.“
  • Das NCMEC arbeitet weltweit mit Strafverfolgungsbehörden zusammen, um Kinder zu schützen und Ermittlungen zu unterstützen
• 309 Meldungen von X an das NCMEC im Jahr 2024 führten zu 10 Schuldsprüchen, und in der ersten Hälfte des Jahres 2025 führten 170 Meldungen zu Festnahmen

Probleme und Grenzen im Zusammenhang mit Grok

• Es wurden Fälle gemeldet, in denen Grok Bilder erzeugte, die Minderjährige sexualisieren
  • Einige Nutzer argumentieren, dass X als die Instanz, die das Modell trainiert hat, Verantwortung übernehmen müsse
  • X betont jedoch die Verantwortung der Nutzer und erklärt, die Nutzerprompts seien das Problem
• X hat keine konkreten Maßnahmen oder Korrekturpläne für illegale Ausgaben von Grok angekündigt
  • Einige Nutzer haben vorgeschlagen, Funktionen zum Melden illegaler oder schädlicher Ausgaben auszubauen

Unschärfe bei der Definition illegaler Inhalte

• Es wird kritisiert, dass in der Reaktion von X Safety die Definitionen von „illegalen Inhalten“ und „CSAM“ unklar seien
  • Einige Nutzer sehen es als Problem, dass Grok Bilder von Prominenten oder Fachleuten in Bikini-Darstellungen erzeugt
  • Andere wiederum, darunter Elon Musk und einige weitere Personen, betrachten dies als Scherz
• Diese unklaren Maßstäbe wirken sich unmittelbar darauf aus, ob AI-generiertes CSAM gelöscht wird und welche Maßnahmen zur Verhinderung einer Wiederholung ergriffen werden

Potenzielle Risiken und Sorge um Behinderung von Ermittlungen

• Von Grok erzeugte Bilder könnten auf Fotos realer Kinder basieren; wenn dies unbeachtet bleibt, könnte dies den betroffenen Kindern psychischen Schaden zufügen
• Falls Grok große Mengen gefälschten CSAMs im Internet verbreiten würde,
  • könnte dies Ermittlungen zu realen Fällen von Kindesmissbrauch verwirren und erschweren
  • Ars Technica verweist auf frühere ähnliche Fälle, in denen AI-generierte Fälschungen die Effizienz von Ermittlungen beeinträchtigten

Kommende Aufgaben

• X hat seinen Willen zur Bekämpfung von CSAM zwar erneut bekräftigt, legt aber keine konkreten Gegenmaßnahmen für AI-generierte Inhalte vor
• Der Umgang mit Groks Ausgaben und eine klarere Definition illegaler Inhalte bleiben Kernfragen für die Glaubwürdigkeit der Plattform und ihre rechtliche Verantwortung

[GN⁺]

Hacker-News-Kommentare

• Ich bin inzwischen kaum noch auf X. Es gibt dort viel zu viel Hassrede, und besonders unter trendenden Posts von Frauen sind die Kommentare voller mit Grok sexualisiert manipulierter Bilder von ihnen
  Hier ein paar Beispiel-Links: Link1, Link2, Link3

  • Es war extrem unangenehm, dass Kommentare von kostenpflichtig verifizierten Accounts immer ganz oben erscheinen und dadurch extreme Aussagen besonders sichtbar werden
  • Ich nutze X auch kaum noch, aber als ich mir die Grok-Kommentare direkt angesehen habe, wirkte dieses Problem ziemlich weit verbreitet. Es betraf nicht nur Frauen, sondern auch Männer. Die Bikini-Version von Xi Jinping war allerdings lustig. Trotzdem ist diese Kultur des Hasses weiterhin schwerwiegend
  • Solche Grok-Memes verbreiten sich auf X gerade wie ein Trend. Ähnliches passiert auch unter Posts von Männern, aber dadurch wird es nicht akzeptabel
  • Ich habe nach langer Zeit mal wieder meinen Twitter-Account geöffnet, und der Feed ist komplett von Verschwörungstheorien und Rassismus überzogen. Klimawandelleugnung, White Supremacy, Impfverschwörungen – schockierend, dass das eine der wichtigsten Nachrichtenquellen im Internet sein soll
  • X hat mich kontaktiert, weil man meinen OG-Usernamen kaufen wollte. Als ich verhandeln wollte, kam plötzlich ein Verweis auf die AGB und man hat mir den Account weggenommen. Wirklich absurd

• Wenn ich Leute sehe, die es nicht problematisch finden, dass Frauen auf Twitter Dinge wie „Grok, zieh ihr die Kleidung aus“ hören müssen, wirkt das auf mich wie ein typisches Beispiel für Vergewaltigungskultur

  • Dieser Thread macht mich wirklich wütend. Leute, die X verteidigen wollen, blenden die Realität aus. Grok kann als Werkzeug zur Pornogenerierung, sogar mit Minderjährigen, missbraucht werden, während es solche Probleme auf anderen AI-Plattformen kaum gibt
  • Ich denke, es gehört zu den Zielen von Kräften wie Musk und Miller, Frauen Angst davor zu machen, sich im öffentlichen Raum zu äußern

• X sagt zwar, man lösche „illegale Inhalte und sperre Accounts dauerhaft“, aber ich finde, das eigentliche Problem ist, dass solche Inhalte überhaupt generiert werden können

  • Ich nutze selbst AI, aber man kann sie so einstellen, dass solche Inhalte nicht entstehen. Wenn also die Eingabe das Problem ist, dann liegt die Verantwortung bei Nutzern und Plattform gemeinsam
  • Es wirkt nicht einmal so, als hätte man einen System-Prompt gesetzt, der Grok anweist, solche Anfragen abzulehnen
  • Schon zu API-Zeiten gab es massenhaft CSAM (Darstellungen sexualisierter Gewalt gegen Kinder), und auch heute ist so etwas noch auf Seiten wie tk2dl zu finden
  • Wenn man das wirklich ernst meint, müsste man solche Nutzer strafrechtlich anzeigen. Ich frage mich, warum die Attorney Generals der Bundesstaaten dazu nichts sagen
  • Es gab sogar Fälle, in denen Elon persönlich eingegriffen und gesperrte Accounts wiederhergestellt hat. Passender Artikel

• Rechtlich gesehen gilt Section 230 nicht für Inhalte, die von der Plattform selbst erstellt wurden. Grok ist ein direkter Agent von X, daher besteht Verantwortung

  • CSAM ist eine Straftat und fällt daher nicht unter den Schutz von Section 230. Da Grok Teil von X ist, ist Immunität ausgeschlossen. Allerdings ist es sehr wahrscheinlich, dass große AI-Unternehmen auf entsprechende Haftungsfreistellungen lobbyieren werden
  • In den Niederlanden gilt die Erstellung nicht einvernehmlicher sexualisierter Bilder als Verleumdung. Sowohl veröffentlichende als auch erzeugende Partei können belangt werden. Bei X, wo Veröffentlichender und Erzeugender identisch sind, wären die rechtlichen Folgen sehr interessant
  • Die problematischen Bilder werden nicht vom Nutzer, sondern direkt von Grok (X) gepostet

• Die Diskussion über offene Modelle ist interessant. Normalerweise gibt es viele Menschen, die Modelle ohne Guardrails unterstützen, aber in diesem Thread überwiegen klar die Gegenstimmen

  • Ich denke auch, dass offene Modelle nötig sind, aber bei plattformintegrierter AI mit leichtem Zugang für die breite Öffentlichkeit muss es Sicherheitsvorkehrungen geben. So wie man auf Android APKs direkt installieren kann, der Standard-Store aber trotzdem Sicherheitsfilter hat
  • Wichtig ist ein Gleichgewicht zwischen Zugänglichkeit und Missbrauchsprävention
  • Dafür zu sein, Zugang ohne Guardrails zu erlauben, und zugleich den Missbrauch dieses Zugangs zu kritisieren, sind zwei verschiedene Dinge. Nur weil man Photoshop erlaubt, erlaubt man noch lange keinen Revenge Porn
  • Die meisten Leute sprechen von Offenheit bei LLMs, nicht von völlig unbegrenzter Nutzung von Bild- oder Videomodellen. Außer der Verhinderung von CSAM ist fraglich, welche weiteren Beschränkungen nötig wären
  • Das kommerzialisierte Grok auf X wird als kostenpflichtiger Dienst betrieben und ist daher nicht dasselbe wie ein bloß offenes Modell. Man sollte es eher wie den Unterschied zwischen einem „Pornoproduzenten“ und einem „Photoshop-Nutzer“ sehen
  • Bei Musk-Themen gibt es immer viele emotionale Reaktionen. Auch diesmal scheint die Verteilung der Meinungen wegen der antimuskschen Stimmung anders auszufallen als sonst

• In Europa gibt es kein Section 230, und Plattformen und Betreiber tragen direkte Verantwortung. AI-generiertes CSAM wird wie reales Missbrauchsmaterial behandelt. Wegen des Fehlens von Guardrails bei Grok könnte es zu strafrechtlicher Verfolgung kommen

  • Grok postet direkt von den Servern von X, daher kann X nicht behaupten, es handle sich um einen „Nutzer-Upload“. Wenn ein Mitarbeiter solche Bilder mit Photoshop erstellen und hochladen würde, wäre X schließlich auch verantwortlich
  • Es ist jedoch fraglich, ob Europa tatsächlich harte Maßnahmen ergreifen würde. Mit Blick auf die Beziehungen zu den USA könnte es am Ende auch nur bei symbolischen Sanktionen bleiben
  • Zur Einordnung: Auch in Europa gibt es über die E-Commerce Directive und den Digital Services Act ähnliche Schutzregelungen

• Es ist seltsam, dass man Grok so anpassen kann, dass es Musk lobt, aber keinen Filter zur Verhinderung von CSAM eingebaut hat

  • Tatsächlich ist Grok so eingestellt, dass es Musk und Hitler lobt. Das heißt, diese Zulassung solcher Inhalte ist eine bewusste Entscheidung
  • Grok kann Musk aber auch beleidigen oder ihn in einen Bikini stecken. Es scheint also fast gar keine Kontrolle zu geben

• Es ist erstaunlich, dass Leute auf Twitter mit Lolicon-Avataren auf das CSAM-Problem bei X überhaupt nicht reagieren

  • Allerdings ist fraglich, was sie tatsächlich tun könnten oder ob sie am Ende nur moralische Gesten zeigen

• Ich frage mich, wann Zahlungsdienstleister eingreifen und Zahlungen für Blue-Check-Abos stoppen werden

  • Vielleicht ist das sogar das einzige Druckmittel, das X wirklich aufhalten könnte

• Ich verstehe, dass das Thema als politisch gelöscht werden könnte, aber ich denke, dieser Fall ist auch für die Tech-Community unmittelbar relevant

  • Die Venture-Capital-Branche selbst ist bereits politisch voreingenommen, daher scheint man solche Problemhinweise als unangenehm zu empfinden