Illegal by Design: Die Menschenrechtskosten generativer KI offenlegen

• Eigenständige generative KI-Systeme geraten über den gesamten Prozess von Entwurf, Entwicklung und Einsatz hinweg in Konflikt mit dem internationalen Menschenrechtsrecht (IHRL) und entsprechenden Standards, wenn sie auf illegalem Web-Scraping basieren
• Diese Technologie verspricht ausgefeilte Automatisierung und Effizienz, doch ihre Praktiken der Datenerfassung und des Modelltrainings beruhen strukturell auf dem Missbrauch des Rechts auf Privatsphäre
• Dieselben Praktiken ermöglichen Diskriminierung und erzeugen Menschenrechtskosten, die die Meinungsfreiheit und die Gedankenfreiheit bedrohen
• Amnesty International kommt zu dem Schluss, dass auf illegalem Web-Scraping basierende Systeme konstruktionsbedingt auf massiven Verletzungen der Privatsphäre beruhen
• Solche Systeme sind mit dem internationalen Menschenrechtsrecht grundlegend unvereinbar, und Amnesty International fordert ein Verbot dieser Systeme

---

Zentrale Einschätzung

• Auf illegalem Web-Scraping basierende eigenständige generative KI-Systeme stehen in den Phasen Entwurf, Entwicklung und Einsatz im Widerspruch zum internationalen Menschenrechtsrecht (IHRL) und zu einschlägigen Standards
• Amnesty International ist der Auffassung, dass diese Systeme konstruktionsbedingt auf massiven Verletzungen der Privatsphäre beruhen und mit dem internationalen Menschenrechtsrecht grundlegend unvereinbar sind

Mechanismen der Menschenrechtsverletzungen

• Generative KI-Technologie verspricht ausgefeilte Automatisierung und Effizienz
• Doch Praktiken der Datenerfassung und des Modelltrainings beruhen auf dem Missbrauch des Rechts auf Privatsphäre
• Diese Praktiken ermöglichen Diskriminierung und bedrohen die Meinungsfreiheit sowie die Gedankenfreiheit

Fazit und Forderung

• Amnesty International fordert ein Verbot eigenständiger generativer KI-Systeme, die auf illegalem Web-Scraping basieren
• Der englische Bericht kann unter Download PDF heruntergeladen werden

[GN⁺]

Lobste.rs-Kommentare

• Ich hoffe, dass die Formulierung „illegales Web-Scraping“ nicht noch einen weiteren Nebeneffekt hat und am Ende auch Web-Scraping insgesamt verboten werden soll

  • Es wirkt nicht so, als wolle man ein Scraping-Verbot durchdrücken; wenn man den betreffenden Abschnitt liest, sind die Bedenken ziemlich konkret und nachvollziehbar.
    Das Problem ist, dass Unternehmen personenbezogene Daten in großem Umfang ohne Einwilligung sammeln und diese Daten dann auf eine Weise kommerzialisieren, die das Risiko einer Offenlegung mit sich bringt.
  • Schade, dass Amnesty sich offenbar von der Argumentation der Verlage beeinflussen lässt.

• Dass Amnesty International ein Verbot solcher Systeme fordert, ist schon eine ziemlich harte Position

  • Mir wäre lieber gewesen, wenn es nicht so formuliert worden wäre. Manche Leser könnten das sonst als unrealistische Utopie abtun, nach dem Motto: „Will man die bereits geöffnete Büchse der Pandora wieder schließen?“
    Trotzdem weist der Bericht zu Recht auf Probleme hin wie die Notwendigkeit von Rechtsbehelfen bei KI-gestützten Entscheidungen, die in Modellen beobachtbaren Verzerrungen sowie Scraping ohne Einwilligung, Urhebernennung oder Vergütung.

• Ich habe noch nicht alles gelesen, aber im Fazit von Abschnitt 5.6 auf S. 35 gab es etwas Auffälliges
  Amnesty International bat DeepSeek, Google, OpenAI, Meta, Stability AI, Intel, VMware, Midjourney, Microsoft und Amazon um Stellungnahmen zu den Untersuchungsergebnissen und Bedenken zu eigenständigen generativen KI-Systemen und Menschenrechtsrisiken, aber Anthropic fehlt auffällig.
  Als ich im Bericht nach Erwähnungen von Anthropic suchte, fand ich nur eine Stelle, wonach beim Angriff des US-Militärs auf den Iran zusammen mit Israel im Februar 2026 Claude von Anthropic verwendet worden sei; außerdem steht dort, die US-Regierung habe Vertragsklauseln von Anthropic ignoriert, die den Einsatz für „großangelegte inländische Überwachung“ und „vollautonome Waffen ohne Aufsicht“ einschränken sollten.
  Dort steht auch, dass Produkte von Anthropic seit 2024 von der US-Regierung und dem Militär genutzt wurden, als erstes „fortgeschrittenes KI-Unternehmen“ im gesamten Regierungsapparat mit Geheimhaltungsaufgaben ausgerollt worden seien und das Pentagon Anthropic am 6. März 2026 als „Supply Chain Risk“ eingestuft habe, nachdem Anthropic diese Einschränkungen nicht angepasst hatte.
  Ich will damit nicht sagen, dass Amnesty pro-Anthropic voreingenommen ist, aber ich finde es verwirrend, warum das Unternehmen nicht in dieser Liste steht. Vielleicht wurde die Liste so zusammengestellt, weil der Bericht OpenAI, Google, Meta usw. mehrfach mit Quellen zu konkreten Schadensfällen erwähnt, während es für Anthropic keine vergleichbaren Quellen gab, aber trotzdem wirkt es merkwürdig.

• Amnesty scheint nicht mehr das frühere Amnesty zu sein

• In diesem Briefing heißt es, der Fokus liege auf der Datenpipeline in der Lieferkette generativer KI-Produkte, insbesondere auf den Phasen der Datenerhebung, -analyse und -verarbeitung.
  Außerdem definiert Amnesty International eigenständige generative KI-Tools als Produkte, die entwickelt, bereitgestellt und vermarktet werden, um ausschließlich generative KI-Funktionen anzubieten, etwa KI-Chatbots sowie Bild-, Video-, Audio- und Textgeneratoren; ausgenommen seien Funktionen, die größeren Produktfamilien nur hinzugefügt werden, wie etwa optionale generative KI-Funktionen in Textverarbeitungsprogrammen.