Signal-Führung warnt: Agentic AI ist unsicher, unzuverlässig und birgt hohe Überwachungsrisiken

• Als zentrales Risiko wird genannt, dass auf Betriebssystemebene integrierte Agentic AI die gesamte digitale Aktivität einer Person aufzeichnet und Malware ausgesetzt sein kann
• Meredith Whittaker und Udbhav Tiwari von Signal erklärten auf dem 39. Chaos Communication Congress, dass solche KI in Bezug auf Sicherheit, Zuverlässigkeit und Überwachung gleichermaßen verwundbar sei
• Die Recall-Funktion von Microsoft erfasst regelmäßig den gesamten Bildschirm eines Nutzers und legt die Daten in einer Datenbank ab; diese Informationen können Malware oder Prompt-Injection-Angriffen ausgesetzt sein
• Whittaker zeigte mit Zahlen, dass AI-Agenten als probabilistische Systeme mit zunehmender Zahl an Schritten drastisch an Genauigkeit verlieren und bei komplexen Aufgaben nur geringe Zuverlässigkeit bieten
• Die beiden fordern einen Stopp unkontrollierter Ausrollungen, Opt-out als Standardeinstellung und mehr Transparenz; andernfalls könnte ein Vertrauensverlust der Verbraucher die gesamte KI-Branche in eine Krise stürzen

---

Sicherheits- und Überwachungsrisiken von Agentic AI

• Wenn Agentic AI auf Betriebssystemebene integriert wird, kann das gesamte digitale Leben einer Person in einer Datenbank gespeichert werden, wodurch sich die Möglichkeit des Zugriffs durch Malware erhöht
  • Solche Datenbanken umfassen das Verhalten des Nutzers, Texte, Nutzungszeiten von Apps und Aktivitäten im Fokus
  • In manchen Fällen werden sie automatisch ohne Zustimmung aktiviert, was große Sorgen über Verletzungen der Privatsphäre auslöst
• Die Signal-Führung weist darauf hin, dass diese Struktur zugleich Sicherheitsinstabilität und Überwachungsrisiken verursacht

Der Fall Microsoft Recall

• Microsoft führt über die Recall-Funktion in Windows 11 Agentic AI ein
  • Recall erstellt alle paar Sekunden Bildschirmaufnahmen, führt OCR und semantische Analysen durch und sammelt so sämtliche Aktivitäten des Nutzers in einer Datenbank
  • Die Daten umfassen eine Verhaltens-Timeline, Originaltext, fokusbezogene Zeit pro App und thematische Klassifizierungen
• Tiwari weist darauf hin, dass dieser Ansatz Malware-Angriffe und versteckte Prompt-Injection-Angriffe nicht verhindern kann
  • Diese Schwachstellen können Ende-zu-Ende-Verschlüsselung (E2EE) umgehen
  • Signal hat eine Funktion hinzugefügt, die Bildschirmaufnahmen der eigenen App blockiert, bewertet dies jedoch nicht als grundlegende Lösung

Zuverlässigkeitsprobleme von Agentic AI

• Whittaker erklärt, dass Agentic AI ein probabilistisches System ist, dessen Genauigkeit mit zunehmender Zahl von Schritten stark abnimmt
  • Wenn jeder Schritt eine Genauigkeit von 95 % hat, liegt die Erfolgsrate bei einer Aufgabe mit 10 Schritten bei etwa 59,9 %, bei 30 Schritten bei etwa 21,4 %
  • Bei einer realistischeren Genauigkeit von 90 % fällt die Erfolgsrate für eine Aufgabe mit 30 Schritten auf 4,2 % ab
• Selbst die derzeit besten Agentenmodelle hätten noch eine Fehlerrate von 70 %
• Daher werde betont, dass sich die Technologie für komplexe Automatisierungsaufgaben noch auf einer sehr wenig verlässlichen Stufe befinde

Verbesserungsansätze für Privatsphäre und Sicherheit

• Whittaker sagt, dass es derzeit keine Möglichkeit gibt, Privatsphäre, Sicherheit und Kontrolle vollständig zu garantieren, sondern nur eine vorläufige Reaktion (Triage) möglich sei
• Sie nennt jedoch folgende Maßnahmen zur Risikominderung
  • Stopp unkontrollierter Ausrollungen von Agentic AI und Einschränkungen, damit Malware nicht auf Klartext-Datenbanken zugreifen kann
  • Opt-out als Standardeinstellung, sodass nur Entwickler ausdrücklich per Opt-in teilnehmen
  • Transparenz darüber, wie KI-Systeme funktionieren und wie Daten verarbeitet werden, mit einem Design, das Prüfungen bis ins Detail ermöglicht
• Wenn diese Maßnahmen nicht umgesetzt werden, könnte der Verlust des Verbrauchervertrauens selbst das Zeitalter der Agentic AI gefährden

Warnung an die gesamte Branche

• Die Signal-Führung warnt, dass Agentic AI zwar im Umfeld von übermäßigen Investitionen und Überbewertung vorangetrieben werde,
  die gesamte Branche jedoch in eine Krise geraten könnte, wenn Sicherheits-, Zuverlässigkeits- und Überwachungsprobleme nicht gelöst werden
• Unternehmen müssten den Schutz der Nutzer und mehr Transparenz höher priorisieren als technische Innovationen

[GN⁺]

Hacker-News-Kommentare

• Das ist kein AI-Problem, sondern ein Betriebssystemproblem
  AI ist deutlich weniger zuverlässig als von Menschen geschriebene und geprüfte Software und legt daher die Schwächen bestehender Systeme offen
  Weder UNIX noch Microsoft haben Prozessisolierung sauber umgesetzt, und selbst gut entworfene Sicherheitsmodelle halfen nicht beim Verkauf von Computern oder Betriebssystemen
  Es gibt gute Beispiele wie Plan 9, SEL4, Fuschia und Helios, aber das Problem ist der mangelnde Blick der Entscheidungsträger
  Es sollte als peinlich gelten, Sandboxing und moderne Sicherheitsmodelle nicht zu verstehen

  • Selbst bei gut entworfenen Sicherheitsmodellen ist es aus Nutzersicht oft zu unbequem
    Wenn man Software in stark abgesicherte Umgebungen ausrollt, kann sie standardmäßig oft mit nichts kommunizieren, und das Dateisystem ist unveränderlich, sodass sie teils nicht einmal startet
    Rechnet man noch TLS-Zertifikate und CA-Konfigurationen dazu, wird die Bereitstellung zum Albtraum
  • AI soll am Ende ebenfalls die „Nutzung von Computern“ ersetzen, also ist es ein Problem, bei dem die Grenze zwischen Betriebssystem und AI verschwimmt
    Um Funktionen wie Recall sicher umzusetzen, braucht es feingranulare Rechteverwaltung, aber in der Praxis wird das wahrscheinlich so unbequem wie UAC
    AI wie einen persönlichen Assistenten arbeiten zu lassen und sie dabei zugleich sicher und zuverlässig zu machen, ist eine sehr schwierige Aufgabe
  • Bestehende OS-Sicherheitsmodelle wurden ohne Blick auf Netzwerkkontexte entworfen
    Die meisten stammen aus der Zeit vor dem Internet, daher ist ein kompletter Neubau heute wegen Kompatibilitäts- und Kostenproblemen nahezu unmöglich
    Container oder VMs sind letztlich nur aufgesetzte Behelfslösungen auf bestehenden Systemen
  • In allen Umgebungen mit integrierten LLMs treten ähnliche Probleme auf, daher trägt auch die AI selbst Verantwortung
    Ob im Browser, E-Mail-Client oder Textverarbeiter: Sie verhält sich unvorhersehbar
    Letztlich ist die grundlegende Entscheidung, ein nicht absicherbares LLM zu integrieren, das eigentliche Problem
  • Damit AI nützlich ist, braucht sie am Ende vertrauenswürdige Zugriffsrechte
    Vollständige Isolation ist hinsichtlich Ressourcen und Komplexität zu teuer, und auch deshalb konnten sich Systeme wie Qubes nicht durchsetzen
    Man müsste Schnittstellen mit grundsätzlich kleiner Angriffsfläche neu entwerfen, aber das würde das gesamte Ökosystem verändern

• Es ist richtig, dass Signal Sicherheit und Privatsphäre an erste Stelle setzt
  Unternehmens-IT hingegen hat die Aufgabe, Risiken zu managen
  Das sind völlig unterschiedliche Rollen, und Signals absolute Sicherheitsmaßstäbe passen zu ihrer Mission

  • Interessante Perspektive, aber es scheint, als würde das reale Risiko unterschätzt, wenn Unternehmensnutzer Agenten auf dem Desktop ausführen
    Ich frage mich, welcher Ansatz für IT-Administratoren klug wäre, wenn sie die Risiken einer Organisation kontrollieren wollen

• Ich erinnere mich, dass Microsoft Research 2009 an einem Projekt gearbeitet hatte, das wie ein Vorläufer von Recall wirkt
  Es hieß PersonalVibe und war so aufgebaut, dass Nutzerverhalten in einer lokalen DB protokolliert wurde, ohne nach außen übertragen zu werden
  Projektlink

• In Unternehmensumgebungen ist die Attraktivität von „Agentic AI“ groß, aber Vorhersagbarkeit ist der wichtigere Wert
  Wenn etwas nur zu 90 % korrekt funktioniert und in den restlichen 10 % Datenlecks oder Halluzinationen erzeugt, dann ist es kein Agent, sondern ein Risikofaktor
  Im Moment ist human-in-the-loop weiterhin unverzichtbar

  • Je nachdem, ob das Risiko intern oder extern liegt, unterscheidet sich das Gewicht der Verantwortung
    Unternehmen steuern interne Risiken, wälzen externe Risiken aber per Nutzungsbedingungen oder EULA ab
    Die meisten Menschen klicken, weil sie denken: „Dem Vendor vertraue ich“ oder „Die Firma wird das schon blockieren“
    Führungskräfte geraten in Versuchung, AI-Risiken zugunsten kurzfristiger Ergebnisse in die Zukunft zu verschieben
  • Ich will keinen Agenten, sondern einen principal

• Funktionen wie Recall sind eine völlig absurde Idee
  Auch Anthropic oder ChatGPT versuchen, die kompletten Arbeitsdaten der Nutzer in ihre Modelle aufzunehmen
  Was jetzt gebraucht wird, ist in der Inferenzphase verifizierbare Privatsphäre
  Wenn meine Daten übertragen werden, dann müssen sie zwingend auf überprüfbare Weise geschützt sein

  • AI ist das größte Datenschutzrisiko, das je geschaffen wurde
    Menschen geben all ihre Daten an Unternehmen weiter, die sie nicht einmal kennen
  • Die Recall-Idee selbst ist nützlich, aber Microsoft ist nicht vertrauenswürdig
    Wenn es nur auf Wunsch läuft und als portable App statt als ins OS integrierte Funktion käme, wäre es wohl in Ordnung
    Es könnte nützlich sein, um beim Lösen eines Problems den Arbeitsverlauf festzuhalten
  • Damit Daten wirklich privat bleiben, muss jede Verarbeitung lokal stattfinden
    Eine Umgebung ohne externe Netzwerkverbindung ist die einzige Antwort
  • Apple zahlt Milliarden Dollar, um Gemini3 zu integrieren
    Es ist schwer zu erwarten, dass Einzelpersonen für ein paar Hundert Dollar dasselbe Maß an Privatsphäre bekommen
  • Innerhalb der USA ist zudem unklar, wer dafür verantwortlich wäre
    AI-Unternehmen betreiben bereits seit Jahren eine nahezu illegale Datensammlung, und die Regierung interessiert das nicht

• Der technologische Fortschritt fühlt sich wie ein „race to the bottom“ an
  Als wären 30 Jahre Sicherheitsforschung bedeutungslos geworden
  AI-Browser gehen mit Cookies und Authentifizierungstokens um, wodurch die Angriffsfläche ins Unendliche wächst

• Die Idee „Lasst uns einem System, dessen Funktionsweise wir nicht verstehen, alle Zugriffsrechte geben“ ist Wahnsinn
  AI sollte Handlungen vorschlagen, aber Entscheidungen dürfen immer erst nach Bestätigung durch den Nutzer ausgeführt werden
  Wenn zum Beispiel eine Bitte zur Kündigung eines Abos erkannt wird, sollte gefragt werden: „Die AI hat das so interpretiert — stimmt das?“
  Allerdings gibt es das psychologische Problem, dass Menschen ein System mit 90 % Genauigkeit für 100 % halten

  • Ein auf Nutzerbestätigung beruhendes „übersetzendes Interaktionsmodell“ ist ein verantwortungsvoller Ansatz
    Zum Beispiel könnte eine natürlichsprachliche Anfrage wie „Artikel zu Foo, aber ohne Bar“ in eine formalisierte Suchanfrage umgewandelt und vorgeschlagen werden
    Natürlich bleibt bei bösartigen Datensätzen ein Risiko, aber es ist immer noch viel besser, als wahllos LLMs zu integrieren

• Ich frage mich, ob sich unerwünschtes Verhalten verhindern lässt, wenn man AI in einem isolierten Benutzerkonto ausführt
  und eine whitelist-basierte Firewall sowie ein Overlay-Dateisystem verwendet

• Was wir brauchen, ist ein Zero-Trust-Modell auf Interaktionsebene
  AI sollte Aufgaben ausführen können, ohne sensible Daten direkt zu sehen
  In Kombination mit Hardware-Security Enclaves ließe sich das Datenschutzproblem grundsätzlich lösen

• Dieser Artikel entspricht genau dem, worum ich gestern gebeten hatte
  Zugehöriger Link