Warum wir KI und Ende-zu-Ende-Verschlüsselung gemeinsam betrachten müssen
(blog.cryptographyengineering.com)- Da KI-Assistenten und Agenten mitten in persönliche Daten wie Nachrichten, Fotos und Anrufe vordringen, geraten die Datenschutzgarantien der Ende-zu-Ende-Verschlüsselung unter neuen Druck
- Ende-zu-Ende-Verschlüsselung verhindert, dass Server Klartext während der Übertragung sehen, kann aber nicht verhindern, was nach der Übergabe der Daten durch das empfangende Gerät oder den Nutzer an einen KI-Verarbeitungsserver damit geschieht
- Je schwieriger es ist, leistungsfähige KI-Modelle auf dem Smartphone auszuführen, desto eher stützen sich Funktionen wie Nachrichtenzusammenfassungen, Betrugsanruf-Erkennung oder Texterstellung auf Off-Device-Verarbeitung
- Apples Private Cloud Compute versucht, die Risiken von Cloud-Inferenz durch vertrauenswürdige Hardware, Secure Boot, Code-Signierung, Transparenz-Logs und zustandsloses Design zu verringern, bietet aber keine mathematische Verschlüsselungsgarantie
- Wenn universelle KI-Agenten persönliche Daten lesen und darauf antworten können, verschiebt sich die Kernfrage weg davon, ob etwas lokal ausgeführt wird, hin zu wer Zugriff auf den Agenten hat
KI öffnet die Debatte über Ende-zu-Ende-Verschlüsselung neu
- How to think about end-to-end encryption and AI von Forschern der NYU und Cornell befasst sich direkt mit den Fragen an der Schnittstelle von KI und Ende-zu-Ende-Verschlüsselung
- KI-Assistentensysteme wie Googles scam call protection und Apple Intelligence wollen in weite Teile des Smartphones vordringen, insbesondere in persönliche Nachrichten
- Die europäische Debatte über „mandatory content scanning“ könnte verlangen, dass Machine-Learning-Systeme nahezu alle persönlichen Nachrichten scannen, und macht damit die Auswirkungen von KI auf die Privatsphäre noch unmittelbarer sichtbar
- Obwohl die Ausgangspunkte unterschiedlich sind, laufen beide Entwicklungen auf denselben Konflikt hinaus
- KI-Funktionen wollen persönliche Daten verarbeiten
- Ende-zu-Ende-Verschlüsselung soll verhindern, dass Server diese Daten sehen
- Leistungsfähige KI-Verarbeitung kann Serverressourcen erfordern
Das Problem, das Ende-zu-Ende-Verschlüsselung ursprünglich gelöst hat
- Vor 2011 luden viele mit der Cloud verbundene Geräte Daten als Klartext hoch, wodurch persönliche Daten Hackern, zivilrechtlichen Vorladungen, staatlichen Durchsuchungs- und Herausgabebeschlüssen sowie der geschäftlichen Nutzung durch Plattformen ausgesetzt sein konnten
- Wenn man nicht zu den fortgeschrittenen Nutzern gehörte, die Werkzeuge wie PGP oder OTR verwendeten, war es für normale Nutzer schwer, diese Risiken zu vermeiden
- Um 2011 begannen Messaging-Apps wie Signal, Apple iMessage und WhatsApp, standardmäßig Ende-zu-Ende-Verschlüsselung einzuführen
- Sie änderten die Schlüsselverwaltung so, dass Server die Klartextinhalte von Nachrichten nicht sehen konnten
- Später begannen Smartphone-OS-Anbieter wie Google, Samsung und Apple damit, lokal gespeicherte Daten zu verschlüsseln; Google führte standardmäßige Ende-zu-Ende-Verschlüsselung für Smartphone-Backups ein, und Apple begann nachzuziehen
- Gemeinsam war diesen Projekten, dass verschlüsselte Daten kaum auf Servern verarbeitet werden mussten
Die Optionen zwischen Serververarbeitung und On-Device-Verarbeitung
- Ende-zu-Ende-Verschlüsselung verbirgt Inhalte vor dem Server, macht es dem Server aber schwer, mit diesen Daten zu rechnen
- Bei Cloud-Backups oder persönlichen Nachrichten ist dieser Nachteil vergleichsweise akzeptabel, weil sie vor allem für den Client Bedeutung haben
- Bei Funktionen, die Datenverarbeitung erfordern, etwa Texterkennung in Fotos, ergeben sich üblicherweise zwei Optionen
- Klartext an den Server senden und damit die Schwachstellen wieder öffnen, die Ende-zu-Ende-Verschlüsselung verringern sollte
- Sich auf Verarbeitung beschränken, die auf dem Gerät ausführbar ist
- Die zweite Option ist an Rechenleistung, RAM, Akku und Hardwareunterschiede des Smartphones gebunden
- Selbst ein High-End-iPhone kann Fotoverarbeitung nachts beim Laden ausführen, um Akkuverbrauch zu vermeiden
- Einige Flaggschiff-Smartphones kosten mehr als 1.400 Dollar und verfügen über Onboard-GPUs und Neural Engines
- Auch in den USA kann man Android-Smartphones für einige Hundert Dollar oder noch günstigere Geräte kaufen, sodass die Unterschiede bei der Verarbeitungsleistung groß sind
KI-Funktionen weiten die Verarbeitung persönlicher Daten aus
- LLMs können komplexe menschliche Texte erzeugen und verstehen, und auch Modelle zur Bildverarbeitung bieten leistungsfähige Funktionen
- Smartphone- und Messaging-Unternehmen sehen KI-Modelle als Grundlage künftiger Funktionen; mehrere Funktionen sind bereits ausgeliefert
- KI-Agenten werden darüber hinaus als Systeme gedacht, die E-Mails und Textnachrichten lesen und beantworten, Essen bestellen, einkaufen, Dating-Profile bedienen, Kredite verhandeln und Bedürfnisse der Nutzer vorwegnehmen
- Damit solche Systeme funktionieren, brauchen sie nahezu uneingeschränkten Zugriff auf persönliche Daten und erhebliche Rechenleistung, um diese zu verarbeiten
- Viele Smartphones haben nicht genug Rechenleistung, um leistungsfähige Modelle auszuführen; je besser oder proprietärer Modelle werden, desto wahrscheinlicher wandern viele Verarbeitungsschritte auf entfernte Server
Garantien und Einwilligungsfragen bei Ende-zu-Ende-verschlüsseltem Messaging
- Die technische Garantie moderner Ende-zu-Ende-verschlüsselter Messenger besteht darin, Klartextnachrichten während der Übertragung so zu gestalten, dass sie nur auf den Endgeräten der Teilnehmer und bei denjenigen existieren, mit denen Teilnehmer oder Geräte sie zu teilen entschieden haben
- Diese Garantie schreibt nicht vor, was nach der Zustellung mit den Daten geschieht
- Wenn ein Nutzer einen Screenshot macht, ein Klartext-Backup erstellt, Inhalte nach Twitter kopiert oder im Rahmen eines Rechtsstreits ein Gerät herausgibt, liegt das außerhalb des Geltungsbereichs der Ende-zu-Ende-Verschlüsselung
- Nutzerzusagen eines Dienstanbieters können sich von der technischen Garantie unterscheiden
- Beispielsweise können Nachrichten sicher zugestellt werden, während das Gerät Klartextinhalte auf einen anderen Server hochlädt, wo sie entschlüsselbar werden
- In Gruppenchats kann ein anderer Teilnehmer eine Funktion aktivieren, die empfangene Klartextnachrichten an den Dienst hochlädt
- Letztlich kommt es auf ausreichend informierte Einwilligung an
- Einige Unternehmen können Nutzer gut informieren, um Vertrauen zu gewinnen
- Andere Unternehmen können in den USA um Zustimmung zu schwer lesbaren Nutzungsbedingungen bitten oder in der EU neue Formen von Cookie-Bannern schaffen
- Wenn KI-Verarbeitung vollständig allgegenwärtig wird, könnten die Opt-in- und Opt-out-Möglichkeiten der Nutzer begrenzt sein
Apples Ansatz mit Private Cloud Compute
- Apple rechnet damit, dass Machine-Learning-Inferenz an leistungsfähigere Hardware ausgelagert werden muss, und hat cloudbasierte Computer entworfen, denen man persönliche Daten anvertrauen können soll
- Private Cloud Compute nutzt Geräte mit vertrauenswürdiger Hardware in Apples Rechenzentren
- Diese Geräte ähneln physisch und logisch abgeschotteten Computern
- Sie verwenden von Apple selbst entwickelte Geräte, Custom Silicon und Softwarefunktionen
- Secure Boot sorgt dafür, dass nur zugelassene OS-Software geladen wird
- Das OS prüft per Code-Signierung, dass nur zugelassene Software-Images ausgeführt werden
- Es speichert keinen langfristigen Zustand
- Bei jeder Verbindung wird die Anfrage per Load Balancing an einen anderen zufälligen Server geleitet
- Es attestiert den Hash der laufenden Anwendungssoftware
- Software-Images müssen in einem überprüfbaren transparency log stehen, um heimliche Ergänzungen zu verhindern
- Apple hat angekündigt, Software-Images zu veröffentlichen, damit Sicherheitsforscher Bugs prüfen können, allerdings nicht den gesamten Quellcode
- Dieses Design konzentriert sich darauf, es sowohl Angreifern als auch Apple-Mitarbeitern schwer zu machen, Daten aus dem Gerät herauszuschaffen
- Allerdings ist dieser Ansatz eine schwächere Garantie als Verschlüsselung
- Er zentralisiert viele wertvolle Daten
- Er beruht nicht auf der Mathematik kryptografischer Algorithmen, sondern darauf, dass Apple komplexe Hardware- und Software-Sicherheitsfunktionen korrekt implementiert
- Er wird als besserer Ansatz bewertet als die Verarbeitung auf Servern, auf die Mitarbeiter offenbar per Login zugreifen können, wie etwa bei OpenAI
FHE und die heutigen Grenzen
- Mit Fully Homomorphic Encryption (FHE) lassen sich Berechnungen auf persönlichen Daten durchführen, während diese verschlüsselt bleiben
- Theoretisch ist das möglich, praktisch dürfte es derzeit aber kaum realistisch sein
- Gute heutige FHE-Verfahren sind vor allem auf die Auswertung sehr kleiner Machine-Learning-Modelle ausgelegt, und solche Modelle lassen sich auch auf schwachen Client-Geräten ausführen
- Verfahren und Hardware werden sich verbessern, doch diese Hürde dürfte noch lange bestehen bleiben
Für wen KI-Agenten arbeiten
- Die Daten, die künftig für das Training und Fine-Tuning von KI-Modellen verwendet werden, schaffen ebenfalls große Datenschutzprobleme; als größere Frage zeichnet sich jedoch ab, für wen universelle Agenten tatsächlich arbeiten
- Großbritannien und die EU haben Gesetze diskutiert, die automatisches „Scannen“ privater verschlüsselter Nachrichten verpflichtend machen würden
- Der EU-Vorschlag konzentriert sich auf die Erkennung bekannter und neuer CSAM-Inhalte
- In einigen Phasen umfasste er auch die Erkennung von Sprach- und Textunterhaltungen, die als „grooming behavior“ gelten
- Der britische Vorschlag deckt ein breiteres Spektrum ab, darunter Hassrede, terroristische Inhalte und Betrug
- Ein Änderungsantrag umfasste sogar „images of immigrants crossing the Channel in small boats“
- Für das Scannen nach bekannten CSAM-Inhalten ist KI/ML nicht zwingend erforderlich, doch die Erkennung neuer CSAM-Inhalte, von Grooming-Verhalten und Hassrede verlangt leistungsfähige Machine-Learning-Inferenz auf persönlichen Daten
- Insbesondere die Erkennung von Sprach- und Textunterhaltungen erfordert nicht nur Speech-to-Text, sondern auch die Fähigkeit, Themen menschlicher Gespräche ohne Fehlalarme zu verstehen
- Solche Vorschläge wurden bislang nicht umgesetzt, auch weil der Aufbau von ML-Systemen zur sicheren Verarbeitung privater Daten schwierig ist und Plattformen sich dagegen gewehrt haben
Der Druck, den universelle persönliche Agenten erzeugen könnten
- Wenn Nutzer freiwillig universelle KI-Agenten erstellen und bereitstellen, könnten diese Agenten zu einer Ressource werden, die viele der Scan-Aufgaben ausführen kann, die Strafverfolgungsbehörden verlangen
- Wie sich verhindern lässt, dass Regierungen Zugriff auf solche Ressourcen verlangen, bleibt eine schwierige Frage
- Strafverfolgungsbehörden könnten dem Agenten ausgefeilte Fragen zu Handlungen und Daten des Nutzers stellen
- „Hat dieser Nutzer potenzielles CSAM-Material?“
- „Hat er in persönlichen Notizen Inhalte geschrieben, die potenziell Hassrede sein könnten?“
- „Besteht die Möglichkeit, dass er Steuern hinterzieht?“
- Ein solcher Ansatz könnte als „datenschutzfreundlich“ dargestellt werden, weil menschliche Polizisten keine Dokumente direkt durchsuchen und nur dann eine Antwort erhalten, wenn der Nutzer wahrscheinlich etwas Illegales getan hat
- Sobald ausreichend leistungsfähige universelle Agenten auf Smartphones bereitgestellt sind, wird weniger entscheidend sein, ob das Modell lokal oder auf vertrauenswürdiger Cloud-Hardware läuft, sondern wer mit diesem Agenten sprechen kann
1 Kommentare
Meinungen auf Hacker News
Je mehr automatische Erkennung zunimmt, desto kleiner wird das Budget, das für Menschen vorgesehen ist, die einzelne Fälle bearbeiten sollen, und desto stärker verlassen sich Administratoren auf automatische Entscheidungen.
Wenn es dadurch zu False Positives kommt, wird es schwer, einen Menschen zu erreichen und das Problem zu lösen, was zu großer Frustration führt. Bei Unternehmensdiensten ist das nur ärgerlich, aber wenn es in der Strafverfolgung eingesetzt wird, kann es ein Leben ruinieren.
Vor Jahren wurde ich bei Amazon wegen illegaler Rezensionen markiert und habe monatelang versucht, das einem Menschen zu erklären; bis heute bringe ich das Problem etwa einmal im Jahr wieder vor, ohne dass es gelöst wird. Wenn so etwas bei schweren Straftaten passiert und sich Gerichtsverfahren über Jahre stauen, ist das fatal.
Automatische Erkennung kann funktionieren und ist praktisch unvermeidlich, aber man muss davon ausgehen, dass False Positives zwangsläufig auftreten, und ausreichend Personal bereitstellen, um sie zu klären. Derzeit werden, sobald ein Erkennungssystem gebaut ist, die zuständigen Mitarbeiter entlassen und es wird angenommen, das System ersetze Menschen. Tatsächlich sollte es ein Werkzeug sein, das Menschen unterstützt und fokussiert.
Entscheidungsträger bearbeiten die tatsächlichen Fälle nicht und erleben das Problem daher nicht selbst. Für sie lautet die Frage: „Wenn man 1 Million Dollar sparen kann, warum dann nicht 2 Millionen?“ Und je einfacher automatische Erkennung durch große KI-Modelle wird, desto schlimmer dürfte dieses Problem in den nächsten Jahren werden.
In Russland wurde ein Wissenschaftler allein aufgrund einer 70%igen Übereinstimmung bei der Gesichtserkennung und der falschen Benennung als Komplize durch einen Kriminellen zum Verdächtigen in einem 20 Jahre alten Mordfall. https://lenta.ru/articles/2024/04/03/scientist/
Zum Glück gab es in den Archiven seines Instituts Unterlagen, die als Alibi belegten, dass er damals an einer Expedition weit entfernt von Moskau teilgenommen hatte. Trotzdem saß er während der „Ermittlungen“ 10 Monate in Untersuchungshaft. Am Ende wurde er freigelassen, aber es beunruhigt mich, dass die Polizeiermittler, die ein extrem schwaches Gesichtserkennungsergebnis nutzten, um ihre Erfolgsbilanz aufzubessern, womöglich immer noch bei der Polizei sind.
Wenn man das auf eine Welt überträgt, in der jede Ecke des Lebens von Plattformmonopolen kontrolliert wird, die nicht einmal grundlegenden Kundensupport bieten, wird es wohl noch viel schlimmer, bevor es besser wird.
Zu finden auf der dritten Seite des PDFs, angezeigt als Seite 84: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
Erstaunlich, dass jemand diese Situation vor 60 Jahren so genau vorhergesehen hat und diese Warnung trotzdem überhaupt nicht ernst genommen wurde.
Über OpenAI muss man nicht spekulieren. OpenAI sagt ziemlich transparent, dass Daten 30 Tage gespeichert und von Mitarbeitern sowie externen Auftragnehmern geprüft werden können.
https://platform.openai.com/docs/models/how-we-use-your-data
„Zur Unterstützung bei der Erkennung von Missbrauch können API-Daten bis zu 30 Tage gespeichert und danach gelöscht werden, sofern gesetzlich nichts anderes vorgeschrieben ist.“
https://openai.com/enterprise-privacy/
Dort heißt es, der Zugriff auf API-Geschäftsdaten sei auf autorisierte Mitarbeiter beschränkt, die ihn für Engineering-Support, Untersuchungen zu Plattformmissbrauch und rechtliche Compliance benötigen, sowie auf spezialisierte externe Auftragnehmer mit Vertraulichkeits- und Sicherheitsverpflichtungen, die ausschließlich Prüfungen auf Missbrauch und Fehlverwendung durchführen.
Man „spricht“ buchstäblich mit den Servern eines Unternehmens, das eine Produktfamilie aufgebaut hat, indem es berufliche und persönliche Ergebnisse anderer Menschen genutzt hat, unabhängig davon, ob diese zugestimmt oder überhaupt davon gewusst haben. Das ist weniger „um Vergebung bitten ist leichter als um Erlaubnis“, sondern eher: gar nicht erst fragen, bei Nachfrage ausweichen und, wenn man erwischt wird, sagen: „Es gab zwar keine Möglichkeit zu wissen, dass wir zuschauen, aber wir haben es nicht versteckt, also war das eine stillschweigende Zustimmung.“
Ehrlich gesagt ist schon das Maß an Zusagen, das OpenAI in seiner Datenschutzrichtlinie macht, erstaunlich. Wenn man die fragwürdige Lockvogel-Taktik betrachtet, bei der nach der anfänglichen „wow, beeindruckend“-PR-Phase stillschweigend Modelle geändert oder die Rechenkontingente zahlender Kunden reduziert worden sein sollen, wirkt es unwahrscheinlich, dass solche Richtlinien lange Bestand haben, sobald das Unternehmen in einer stabileren Position ist.
Außerdem könnten sie, sobald es eine Möglichkeit gibt, Trainingsdaten aus dem Modell zu extrahieren, behaupten: „Das sind andere Daten, die aus dem Modell gezogen wurden, daher gilt die alte Richtlinie nicht.“ Wenn sie auf dem Markt zurückfallen, fällt es schwer zu glauben, dass Altman so etwas nicht im Handumdrehen verkaufen würde, um ein großes, riskantes Produkt zu finanzieren. Von dubiosen Chatbots à la Partner-App ganz zu schweigen.
Datenschutz sollte es selbstverständlich geben, aber es ist erstaunlich, dass manche Menschen davon ausgehen, dass er vorhanden ist. Selbst wenn ich mich frage, ob ich zu zynisch bin, stellt sich heutzutage am Ende doch heraus, dass ich nicht zynisch genug war.
Die eigentliche Bedrohung entsteht, wenn KI nicht nur die Arbeit Einzelner beschleunigt, sondern auf organisatorische Kontrolle angewendet wird.
Alle kennen die Grenzen von Managern, Managementebenen, Metriken und OKRs, also ist die Versuchung groß. Es ist nicht schwer, sich vorzustellen, dass ein CEO auf die Idee kommt, sämtliche Kommunikation zwischen Mitarbeitenden in eine KI einzuspeisen und abfragbar zu machen. Ironischerweise lässt sich das leichter durchsetzen, wenn alle remote arbeiten.
Es ist durchaus möglich, dass die Organisation effizienter wird, weil CEO und obere Führungsebene besser verstehen, was tatsächlich passiert. Aber der ohnehin schwache Glaube daran, dass Machthaber normale Mitarbeitende als echte Menschen sehen, wird weiter erodieren.
Und weil die Führungsebene keinen Grund sehen wird, Werkzeuge, mit denen man ein Unternehmen führt, nicht auch zum Führen eines Landes einzusetzen, wird diese Praxis zwangsläufig aus privaten Organisationen herausdiffundieren.
Befürworter von Massenüberwachung sagen heute, dass kein Mensch mehr selbst Telefonate abhören müsse. Doch die eigentliche Gefahr war nie jemand im grauen Anzug, der Gespräche von Tonbändern abtippt. Das Problem war immer, dass Machthaber die Akte einer unbequemen Person anfordern und sie mit dem Ziel durchsehen, diese Person daran zu hindern, ihnen je wieder unbequem zu werden.
Der vollständige Effekt von Massenüberwachung ist bisher nur deshalb ausgeblieben, weil es kein Mittel gab, derart viele unstrukturierte Ad-hoc-Daten zu verarbeiten. Jetzt gibt es eines.
Wenn in einem Rechtsstreit Discovery nötig wird, kann E-Discovery-Software sämtliche zugängliche digitale Kommunikation zusammenziehen, in eine KI einspeisen und unter anderem sogar Sentiment-Analyse darauf durchführen. Der Einsatz generativer KI in der juristischen Arbeit ist derzeit ein heißes Thema in der Rechtsbranche.
Die Richtung, in die es geht, fühlt sich an wie XKEYSCORE auf Steroiden, und bei der Frage, ob es „für uns arbeiten“ wird, tendiere ich zu Nein.
Ich würde das gern positiv und optimistisch sehen, aber angesichts des Wegs, den wir genommen haben, und des Verhaltens der Leute, die für diese Systeme verantwortlich sind – genauer gesagt nicht der Forscher oder Ingenieure, sondern des Managements –, sehe ich nur begrenzte Hoffnung auf eine neutrale, datenschutzorientierte Zukunft.
Sie tragen Anzüge, haben aber meist einen militärischen Hintergrund, empfinden eine Pflicht, die USA gegen in- und ausländische Bedrohungen zu verteidigen, und haben ihre Befugnisse historisch gesehen unter keiner Regierung massiv missbraucht. Auch XKEYSCORE hackte keine Menschen, sondern sammelte massenhaft Metadaten und erstellte Profile, und das geschah innerhalb des Rechtssystems. Kritik sollte auch an die Unternehmen gehen, die keine Datenschutz-Tools bereitgestellt haben, denn jede große Regierung hätte dasselbe System bauen können.
Dagegen wurden die anti-establishment Republikaner, die seit 2016 Big Tech kritisierten, am Ende zu dessen establishment-freundlichsten Fans; Elmo bekam ein Büro im Weißen Haus, und Zucc ging auf die Knie, um einer Anklage zu entgehen.
Ich denke, solche neuen Systeme sollten lieber von klugen Leuten betrieben werden, die aus Pflichtgefühl in US-Verteidigungsorganisationen arbeiten, obwohl sie in der Privatwirtschaft viel mehr verdienen könnten.
Unternehmen haben nahezu alle Internetdaten aufgebraucht, die sie für KI-Training verwenden können, also werden sie unter dem Vorwand von Agenten Zugriff auf persönliche Echtzeitdaten verlangen. Wie immer lautet das Geschäftsmodell: „Du bist das Produkt.“
Apple scheint seine Position kürzlich geändert zu haben. Jetzt heißt es, dass „der Quellcode bestimmter sicherheitskritischer PCC-Komponenten unter einer eingeschränkten Nutzungslizenz verfügbar ist“. Natürlich wäre es besser, wenn alles Open Source wäre.
https://github.com/apple/security-pcc/
Apple scheint eine weitergehende Behauptung aufzustellen: 1) Nutzerdaten werden nicht gespeichert, sondern nur während der Inferenz verarbeitet, 2) es gibt keinen privilegierten Runtime-Zugriff, sodass auch Support-Ingenieure keine Nutzerdaten sehen können, und 3) Sicherheitsforscher erhalten Binärdateien und Teile des Quellcodes, um 1) und 2) überprüfen zu können.
Die fünf Anforderungen von Apple PCC sind hier zu finden: https://security.apple.com/documentation/private-cloud-compu...
Ich habe nichts mit Apple zu tun. Ich habe den PCC-Sicherheitsleitfaden gelesen, um zu sehen, wie eine gleichwertige Open-Source-Lösung aussehen müsste. Wer sich für dieses Thema interessiert, kann sich unter ozgun @ ubicloud . com melden.
Die richtige Frage lautet: „Für wen arbeitet ein KI-Agent tatsächlich?“ Ich habe vor ein paar Wochen denselben Punkt angesprochen; hier greift das rechtliche Konzept von Principal und Agent.
Wir steuern auf eine Realität zu, in der sämtlicher Content durch Cloud-KI geleitet wird, um auf „Gedankenverbrechen“ zu prüfen. Die derzeit vorgeschlagenen Kategorien sind Material über sexuellen Kindesmissbrauch, Bedrohungen gegen wichtige Personen, Bedrohungen gegen die Regierung, „Grooming“ Minderjähriger, Diskussionen über Drogen, Sex, Waffen und homosexuelle Aktivitäten sowie die Organisation von Protesten oder Gewerkschaften.
Insbesondere Material über sexuellen Kindesmissbrauch ist in den USA zu einer erweiterten Kategorie geworden, die sogar KI-generierte Bilder einschließt, und könnte bald auch auf japanische Animationen ausgeweitet werden. Bedrohungen gegen wichtige Personen könnten in den USA so ausgeweitet werden, dass auch Dinge darunterfallen, die früher als politische Äußerung galten.
Bedrohungen gegen die Regierung sind in vielen Ländern bereits illegal. Man sollte im Hinterkopf behalten, dass Trump Menschen gern „Verrat“ vorwirft, auch bei Dingen, die nichts damit zu tun haben, Krieg gegen die USA zu führen.
„Grooming“ ist so vage, dass es die meisten Interaktionen abdecken kann, und Diskussionen über Drogen, Sex, Waffen und homosexuelle Aktivitäten sind in verschiedenen Ländern auf unterschiedliche Weise verboten. Die Organisation von Protesten oder Gewerkschaften ist in China verboten und bereits Gegenstand von Suchvorgängen.
Zensur lässt sich nicht durch Umschreibungen oder Slang umgehen. Large Language Models verarbeiten auch das. Gib ihnen African American English oder Leetspeak und bitte um Übersetzung in Standardenglisch – sie werden es übersetzen. Das Modell hat solche Dialekte vermutlich häufiger gesehen als die meisten Menschen.
„Wenn du ein Bild der Zukunft willst, stell dir einen Stiefel vor, der in ein menschliches Gesicht tritt – für immer.“ — Orwell
https://www.orwell.org/dictionary/
Der Kernpunkt ist es wert, wiederholt zu werden.
Das kann bis zum gewünschten Zustand reichen wie: „Wenn eine Frau Hosen trägt, ist das Cross-Dressing, und wenn sie das in der Nähe von Kindern tut, ist es ein Schwerverbrechen.“
Die deprimierendste Erkenntnis ist, dass riesige Datenmengen, die man in die Cloud gelegt hat in der Annahme, nicht einmal kriminelle Aktivitäten würden gescannt, nun zu einem Kanal geworden sind, über den die Gedankenpolizei schon wegen bloßer abweichender Meinungen auftauchen kann.
Der Besitzer dieser Maschine ist jemand anderes, und deshalb haben dessen Interessen – ob kommerziell oder ideologisch – immer Vorrang.
Ich hoffe, dass das nicht passiert, aber es würde mich nicht überraschen. Alte Daten können zu toxischem Abfall werden.
Es ist ein Glück, dass lokal auf Geräten gespeicherte und verschlüsselte Daten für cloudbasierte „KI“-Tools nicht zugänglich sind.
Das Problem ist, dass normale Nutzer in GUI-Pop-ups gedankenlos auf „Ja/Akzeptieren/Fortfahren/Weiter/Zustimmen“ klicken und damit auch Bedingungen akzeptieren, die vorsehen, Daten zu entschlüsseln und an irgendeinen „Cloud“-Dienst zu senden.
Künftig werden „KI“-Tools wohl noch stärker dazu genutzt werden, Menschen dauerhaft an monatliche Abodienste wie iCloud, Microsofts Office 365 für Privatkunden oder Google Workspace zu binden.
Man zahlt für immer 15 Dollar im Monat, und wegen der Datenmenge und der Abhängigkeit vom Cloud-Anbieter gibt es keinen realistischen Weg mehr, die Zahlungen einzustellen, ohne das eigene Leben erheblich zu stören.
Green hat einen wichtigen Punkt angesprochen. Technische Garantien sind etwas anderes als Zusagen gegenüber Nutzern, und Ende-zu-Ende-verschlüsselte Messaging-Systeme liefern Daten nur sicher aus; sie legen nicht fest, was danach geschieht.
Doch unmittelbar danach scheint er diesen Punkt zu vergessen und spricht über PCC, als sei es mehr als nur eine weitere technische Garantie. PCC erhöht lediglich das Vertrauen, dass die auf dem Server laufende Software die von Apple beabsichtigte Software ist.
Es garantiert nicht, wohin meine Daten danach übertragen werden oder ob Apple sie nur für Zwecke nutzt, denen ich zustimmen würde. PCC macht Apple weniger anfällig für Hacks, aber nicht transparenter oder verantwortlicher.
Wenn man bedenkt, dass manche Hacker auch aus gesellschaftlich nützlichen Motiven hacken, etwa um unternehmerischen Missbrauch aufzudecken, kann stärkere Sicherheit sogar als Schutzschild gegen Verantwortlichkeit dienen. Natürlich heißt das nicht, dass man Sicherheit abschaffen sollte, um Transparenz zu bekommen.
Der hier ungelöste Kernpunkt ist weniger Sicherheit als Transparenz. Der katastrophale Zustand der Sicherheit wurde zu einem erheblichen Teil ebenfalls durch mangelnde Transparenz ermöglicht.
Wenn KI der Gesellschaft dienen soll, müssen wir das extreme Informationsungleichgewicht umkehren, bei dem das Privatleben einzelner Menschen Dienstanbietern bis ins Detail offengelegt wird, während die Dienstanbieter für die Nutzer eine vollständige Blackbox bleiben.
Wer gutes Unternehmensverhalten will, darf Unternehmen nicht unsichtbar operieren lassen. Wer ethische Technologie will, darf sie nicht unsichtbar funktionieren lassen.
Die interessante Frage am Ende des Textes ist politisch wichtig.
Welche technischen Entscheidungen man auch immer zum Schutz der Privatsphäre trifft: Nachdem ein ausreichend leistungsfähiger universeller Agent auf dem Smartphone ausgerollt wurde, bleibt die Frage, wer das Recht hat, mit diesem Agenten zu sprechen. Nur der Nutzer, oder werden staatliche Interessen an Bürgerüberwachung über die Privatsphäre des Einzelnen gestellt?
Es ist hypothetisch möglich, dass eine Regierung gesetzlich erzwingt, Zugriff auf den Agenten zu erhalten. Schließlich existieren wir und die Unternehmen in Rechtsräumen, die beliebige Gesetze verabschieden können.
Technisch müsste es aber möglich sein, einen lokalen Agenten auf einem vollständig datenträgerverschlüsselten System auszuführen und zu verhindern, dass irgendjemand ohne Systemzugriff mit ihm spricht. Auf technischer Ebene scheint das dann nicht wesentlich anders als früher zu sein.
Schon früher war es möglich, mit einer Menge regulärer Ausdrücke im Stil der 1980er-Jahre zu prüfen, ob sich auf dem Computer einer Person kommunistische Pamphlete oder Ähnliches befinden.
Ob der Staat Zugriff auf meinen Computer verlangen dürfen sollte, war schon immer eine bestehende Frage. Wenn er allerdings Zugriff auf einen auf meinem Computer ausgeführten KI-Agenten verlangt, sollte man bedenken, dass das faktisch der Forderung nach einer verlustbehafteten Aufzeichnung meiner gesamten Festplatte gleichkommt.