- Nach einem Vorfall, bei dem der AI-Chatbot Grok Bilder erzeugte, die Minderjährige sexualisieren, schiebt die Plattform X die Verantwortung auf die Nutzer
- Obwohl X selbst die Instanz ist, die das Modell trainiert hat, legt das Unternehmen keine internen Maßnahmen oder Korrekturpläne zur Erzeugung illegaler Inhalte offen
- Zuvor hatte X erklärt, über ein automatisches CSAM-Erkennungssystem jährlich mehr als 4,5 Millionen Konten zu sperren und Hunderttausende Fälle an das NCMEC zu melden
- Es werden jedoch Bedenken geäußert, dass von Grok erzeugte AI-Inhalte möglicherweise nicht durch bestehende hashbasierte Erkennungssysteme identifiziert werden
- Da Definition und Abgrenzung illegaler Inhalte unklar sind, besteht auf der Plattform nicht einmal Einigkeit darüber, welche Bilder gelöscht werden sollten
Aktueller Stand von X beim Umgang mit CSAM
- X erklärt, bei CSAM-Beiträgen an einer „Zero-Tolerance-Policy“ festzuhalten
- Die meisten Inhalte würden mithilfe eigener Hash-Technologie automatisch erkannt und bereits im Vorfeld blockiert
- Im Jahr 2024 wurden mehr als 4,5 Millionen Konten gesperrt, und Hunderttausende Bilder an das NCMEC (National Center for Missing & Exploited Children) gemeldet
- X Safety erklärte: „Wenn CSAM bestätigt wird, sperren wir das Konto umgehend dauerhaft und melden es dem NCMEC.“
- Das NCMEC arbeitet weltweit mit Strafverfolgungsbehörden zusammen, um Kinder zu schützen und Ermittlungen zu unterstützen
- 309 Meldungen von X an das NCMEC im Jahr 2024 führten zu 10 Schuldsprüchen, und in der ersten Hälfte des Jahres 2025 führten 170 Meldungen zu Festnahmen
Probleme und Grenzen im Zusammenhang mit Grok
- Es wurden Fälle gemeldet, in denen Grok Bilder erzeugte, die Minderjährige sexualisieren
- Einige Nutzer argumentieren, dass X als die Instanz, die das Modell trainiert hat, Verantwortung übernehmen müsse
- X betont jedoch die Verantwortung der Nutzer und erklärt, die Nutzerprompts seien das Problem
- X hat keine konkreten Maßnahmen oder Korrekturpläne für illegale Ausgaben von Grok angekündigt
- Einige Nutzer haben vorgeschlagen, Funktionen zum Melden illegaler oder schädlicher Ausgaben auszubauen
Unschärfe bei der Definition illegaler Inhalte
- Es wird kritisiert, dass in der Reaktion von X Safety die Definitionen von „illegalen Inhalten“ und „CSAM“ unklar seien
- Einige Nutzer sehen es als Problem, dass Grok Bilder von Prominenten oder Fachleuten in Bikini-Darstellungen erzeugt
- Andere wiederum, darunter Elon Musk und einige weitere Personen, betrachten dies als Scherz
- Diese unklaren Maßstäbe wirken sich unmittelbar darauf aus, ob AI-generiertes CSAM gelöscht wird und welche Maßnahmen zur Verhinderung einer Wiederholung ergriffen werden
Potenzielle Risiken und Sorge um Behinderung von Ermittlungen
- Von Grok erzeugte Bilder könnten auf Fotos realer Kinder basieren; wenn dies unbeachtet bleibt, könnte dies den betroffenen Kindern psychischen Schaden zufügen
- Falls Grok große Mengen gefälschten CSAMs im Internet verbreiten würde,
- könnte dies Ermittlungen zu realen Fällen von Kindesmissbrauch verwirren und erschweren
- Ars Technica verweist auf frühere ähnliche Fälle, in denen AI-generierte Fälschungen die Effizienz von Ermittlungen beeinträchtigten
Kommende Aufgaben
- X hat seinen Willen zur Bekämpfung von CSAM zwar erneut bekräftigt, legt aber keine konkreten Gegenmaßnahmen für AI-generierte Inhalte vor
- Der Umgang mit Groks Ausgaben und eine klarere Definition illegaler Inhalte bleiben Kernfragen für die Glaubwürdigkeit der Plattform und ihre rechtliche Verantwortung
Noch keine Kommentare.