- Als zentrales Risiko wird genannt, dass auf Betriebssystemebene integrierte Agentic AI die gesamte digitale Aktivität einer Person aufzeichnet und Malware ausgesetzt sein kann
- Meredith Whittaker und Udbhav Tiwari von Signal erklärten auf dem 39. Chaos Communication Congress, dass solche KI in Bezug auf Sicherheit, Zuverlässigkeit und Überwachung gleichermaßen verwundbar sei
- Die Recall-Funktion von Microsoft erfasst regelmäßig den gesamten Bildschirm eines Nutzers und legt die Daten in einer Datenbank ab; diese Informationen können Malware oder Prompt-Injection-Angriffen ausgesetzt sein
- Whittaker zeigte mit Zahlen, dass AI-Agenten als probabilistische Systeme mit zunehmender Zahl an Schritten drastisch an Genauigkeit verlieren und bei komplexen Aufgaben nur geringe Zuverlässigkeit bieten
- Die beiden fordern einen Stopp unkontrollierter Ausrollungen, Opt-out als Standardeinstellung und mehr Transparenz; andernfalls könnte ein Vertrauensverlust der Verbraucher die gesamte KI-Branche in eine Krise stürzen
Sicherheits- und Überwachungsrisiken von Agentic AI
- Wenn Agentic AI auf Betriebssystemebene integriert wird, kann das gesamte digitale Leben einer Person in einer Datenbank gespeichert werden, wodurch sich die Möglichkeit des Zugriffs durch Malware erhöht
- Solche Datenbanken umfassen das Verhalten des Nutzers, Texte, Nutzungszeiten von Apps und Aktivitäten im Fokus
- In manchen Fällen werden sie automatisch ohne Zustimmung aktiviert, was große Sorgen über Verletzungen der Privatsphäre auslöst
- Die Signal-Führung weist darauf hin, dass diese Struktur zugleich Sicherheitsinstabilität und Überwachungsrisiken verursacht
Der Fall Microsoft Recall
- Microsoft führt über die Recall-Funktion in Windows 11 Agentic AI ein
- Recall erstellt alle paar Sekunden Bildschirmaufnahmen, führt OCR und semantische Analysen durch und sammelt so sämtliche Aktivitäten des Nutzers in einer Datenbank
- Die Daten umfassen eine Verhaltens-Timeline, Originaltext, fokusbezogene Zeit pro App und thematische Klassifizierungen
- Tiwari weist darauf hin, dass dieser Ansatz Malware-Angriffe und versteckte Prompt-Injection-Angriffe nicht verhindern kann
- Diese Schwachstellen können Ende-zu-Ende-Verschlüsselung (E2EE) umgehen
- Signal hat eine Funktion hinzugefügt, die Bildschirmaufnahmen der eigenen App blockiert, bewertet dies jedoch nicht als grundlegende Lösung
Zuverlässigkeitsprobleme von Agentic AI
- Whittaker erklärt, dass Agentic AI ein probabilistisches System ist, dessen Genauigkeit mit zunehmender Zahl von Schritten stark abnimmt
- Wenn jeder Schritt eine Genauigkeit von 95 % hat, liegt die Erfolgsrate bei einer Aufgabe mit 10 Schritten bei etwa 59,9 %, bei 30 Schritten bei etwa 21,4 %
- Bei einer realistischeren Genauigkeit von 90 % fällt die Erfolgsrate für eine Aufgabe mit 30 Schritten auf 4,2 % ab
- Selbst die derzeit besten Agentenmodelle hätten noch eine Fehlerrate von 70 %
- Daher werde betont, dass sich die Technologie für komplexe Automatisierungsaufgaben noch auf einer sehr wenig verlässlichen Stufe befinde
Verbesserungsansätze für Privatsphäre und Sicherheit
- Whittaker sagt, dass es derzeit keine Möglichkeit gibt, Privatsphäre, Sicherheit und Kontrolle vollständig zu garantieren, sondern nur eine vorläufige Reaktion (Triage) möglich sei
- Sie nennt jedoch folgende Maßnahmen zur Risikominderung
- Stopp unkontrollierter Ausrollungen von Agentic AI und Einschränkungen, damit Malware nicht auf Klartext-Datenbanken zugreifen kann
- Opt-out als Standardeinstellung, sodass nur Entwickler ausdrücklich per Opt-in teilnehmen
- Transparenz darüber, wie KI-Systeme funktionieren und wie Daten verarbeitet werden, mit einem Design, das Prüfungen bis ins Detail ermöglicht
- Wenn diese Maßnahmen nicht umgesetzt werden, könnte der Verlust des Verbrauchervertrauens selbst das Zeitalter der Agentic AI gefährden
Warnung an die gesamte Branche
- Die Signal-Führung warnt, dass Agentic AI zwar im Umfeld von übermäßigen Investitionen und Überbewertung vorangetrieben werde,
die gesamte Branche jedoch in eine Krise geraten könnte, wenn Sicherheits-, Zuverlässigkeits- und Überwachungsprobleme nicht gelöst werden
- Unternehmen müssten den Schutz der Nutzer und mehr Transparenz höher priorisieren als technische Innovationen
Noch keine Kommentare.