- Kevin Bankston behauptete, dass Gemini ohne Aufforderung eine Zusammenfassung erstellte, als er ein privates Dokument in Google Drive/Docs öffnete. Dadurch gerieten das Standardverhalten der Workspace-AI-Funktionen und der Umfang der Nutzereinwilligung in die Kritik.
- Der Vorfall begann mit Bankstons Fall einer PDF-Steuererklärung; später verengte sich der Fokus des Problems weniger auf Google Docs selbst als auf das Verhalten von Dateien, die in Google Drive geöffnet werden.
- Auch nach Prüfung der entsprechenden Einstellungen waren die Gemini-Zusammenfassungs-Toggles für Gmail, Drive und Docs bereits deaktiviert. Zudem stimmte der von Gemini genannte Ort der Einstellung nicht mit der tatsächlichen Position überein, wodurch es für Nutzer schwierig war, ihren Kontrollstatus nachzuvollziehen.
- Bankston beobachtete ein Muster, wonach Gemini automatisch gestartet zu werden scheint, wenn man in Drive bei einem Dokument den Gemini-Button drückt und anschließend ein Dokument desselben Dateityps öffnet.
- Google widersprach und erklärte, Workspace-Daten würden nicht zum Training verwendet und nicht gespeichert. Die Beziehung zwischen dem Status des Gemini-Seitenpanels in Drive und den Zusammenfassungseinstellungen bleibt jedoch ein Punkt, den Nutzer selbst überprüfen müssen.
Gemini-Kontroverse um automatische Zusammenfassungen begann mit persönlichen Dokumenten
- Kevin Bankston veröffentlichte auf X, dass Gemini seine Steuererklärung ohne Aufforderung zusammengefasst habe, nachdem er sie in Google Docs geöffnet hatte.
- Er stellte die Frage, ob Gemini persönliche Dokumente, die in Google Docs geöffnet werden, automatisch verarbeitet, und äußerte Sorge darüber, dass Nutzer unbekannte Einstellungen finden und deaktivieren müssen.
- Später wurde der Kontext eher als in Google Drive geöffnetes Dokument eingeordnet und weniger als Google Docs selbst.
- Der Dokumenttyp war PDF.
- Die Möglichkeit, dass dies auch für Docs gelten könnte, bleibt bestehen.
Deaktivierter Zusammenfassungs-Toggle und widersprüchliche Hinweise zu Einstellungen
- Bankston versuchte nach eigenen Angaben, die von Gemini genannten Datenschutzeinstellungen zu finden, konnte die entsprechende Einstellung am tatsächlichen Ort jedoch nicht entdecken.
- Bei einer späteren Prüfung der relevanten Toggles war Gemini summaries in Gmail, Drive, and Docs bereits deaktiviert.
- Auch der Ort der Einstellung unterschied sich von den zwei Webseiten, die der Gemini-Bot zunächst genannt hatte.
- Diese Erfahrung verstärkte die Sorge über unzureichende Nutzerkontrolle bei sensiblen persönlichen Informationen.
In Drive beobachtetes Muster automatischer Ausführung nach Dateityp
- Das bei Bankston aufgetretene Problem scheint auf Google Drive beschränkt zu sein.
- Nachdem bei mindestens einem Dokument der Gemini-Button gedrückt wurde, wurde beobachtet, dass Gemini anschließend automatisch startet, wenn Dokumente desselben Dateityps geöffnet werden.
- Der Dateityp im Beispiel war PDF.
- Danach werden Dateien desselben Typs, die in Google Drive geöffnet werden, automatisch zum Trigger-Ziel.
- Bankston brachte außerdem die Möglichkeit ins Spiel, dass die 2023 aktivierten Google Workspace Labs die vorgesehenen Gemini-AI-Einstellungen überlagert haben könnten.
Googles Widerspruch und Erklärung zum Datenschutz
- Ein Google-Sprecher erklärte, die Funktionen generativer AI seien so konzipiert, dass sie Nutzern Auswahlmöglichkeiten und Datenkontrolle bieten.
- Googles Position ist, dass die Nutzung von Gemini in Google Workspace eine vorherige Aktivierung durch den Nutzer erfordert.
- Wenn Nutzer die Funktion aktivieren, würden Inhalte auf datenschutzfreundliche Weise verwendet, um hilfreiche Antworten auf Prompts zu erzeugen, und ohne Erlaubnis nicht separat gespeichert.
- Google erklärt in einem Blogbeitrag zum Datenschutz in Workspace, dass Workspace-Daten nicht gesammelt oder zum Training verwendet werden.
- Das Unternehmen ergänzte, dass die Funktion bei Aktivierung den Inhalt geöffneter Dokumente zusammenfassen kann, diese Inhalte jedoch nicht aufbewahrt werden.
Seitenpanel als mögliche Lösung und verbleibende Prüflast für Nutzer
- Google schlug vor, Bankston könnte das Gemini-Seitenpanel in Drive verwendet haben; das Schließen des Panels könne das Problem möglicherweise beheben.
- In Bankstons Erfahrung waren die relevanten Zusammenfassungseinstellungen jedoch bereits deaktiviert, sodass eine Lücke zwischen dem von Nutzern erwarteten deaktivierten Zustand und dem tatsächlichen Verhalten bleibt.
- Beim Öffnen sensibler Dokumente, die in Google Drive gespeichert sind, müssen Nutzer daher selbst prüfen, ob Gemini-Funktionen aktiv sind, welchen Status das Seitenpanel hat und wie sich das Verhalten je nach Dateityp unterscheidet.
1 Kommentare
Hacker-News-Kommentare
Das zeigt erneut, dass Daten, die man bei einem Cloud-Anbieter hochlädt, am Ende nicht unter meiner Kontrolle wie mein Eigentum stehen
Diesmal gab es ein klares Signal, aber ich gehe davon aus, dass Google-Systeme schon seit Langem Daten in privaten Dokumenten lesen und aggregieren
Diese Sorge gibt es seit dem Start von Gmail vor 20 Jahren; damals waren die Leute schockiert von der Vorstellung, dass „Google E-Mails liest, um Werbung anzuzeigen“, aber der 1-GB-Posteingang und die neue UI waren ziemlich überzeugend
Später hat Google bei Google Drive usw. gelernt, das weniger beängstigend oder weniger offensichtlich wirken zu lassen; wahrscheinlich auch, weil man das Geld von Unternehmenskunden wollte
Sonst könnte man kaum eine Dokumentensuche anbieten
Denn dort wird sowohl bei der Übertragung als auch im Ruhezustand verschlüsselt
Apple verschlüsselt inzwischen die meisten Daten ebenfalls bei Übertragung und Speicherung und dokumentiert auch, welche Daten geschützt sind
Ob ein zukünftiges Apple meine Daten aber für das Training öffentlicher Modelle nutzen wollen wird, da bin ich nicht sicher
Das Design von Apple, an ein vortrainiertes Kern-LLM eine austauschbare Fine-Tuning-Schicht auf Basis lokalen Trainings anzuhängen, wirkt aus Privacy-Sicht ganz ordentlich, aber wirklich sicher bin ich nicht
Google Drive vertraue ich weniger, weil ich Colab Pro und einigen Dritten Zugriff auf Drive gegeben habe, und falls dieser Beitrag stimmt, sinkt mein Vertrauen noch weiter
Die frühe Gmail-Analogie passt
Ich hatte drei Jahre vor dem öffentlichen Start von Gmail über eine private Einladung von Peter Norvig Zugang, und damals mochte ich die relevanten Anzeigen neben Gmail
Außerdem wollte ich die Nützlichkeit eines in eine Umgebung wie Workplace integrierten LLM ausprobieren und habe deshalb wohl Google AI Plus oder wie auch immer dieser 20-Dollar-im-Monat-Dienst heißt Zugriff auf mein gesamtes Google-Vermögen gegeben
Letztlich habe ich meine Privacy in Google-Diensten also freiwillig aufgegeben
Wenn damit aber angedeutet wird, dass jedermanns private Daten abgesaugt und in ein LLM gesteckt wurden, dann ist das klar Verschwörungstheorie
Erstaunlich ist eher der Glaube, Google habe Zehntausende Ingenieure überzeugt, still ein riesiges Komplott zum Missbrauch privater Daten aller Menschen geheim zu halten
Android habe ich danach aufgegeben, aber von Gmail loszukommen ist deutlich schwerer
Bei jeder AI sollten sowohl Training als auch Scannen nur mit expliziter Zustimmung erlaubt sein
Es sollte eine Checkbox geben wie „Ich möchte AI-Funktionen verwenden“, die der Nutzer selbst aktiv auswählt, und der erläuternde Text dazu muss sehr klar sein
Das sollte vorgeschrieben und durchgesetzt werden, und Unternehmen, die sich nicht daran halten, sollten harte Geldstrafen bekommen
Es heißt doch nur wörtlich, dass ein Algorithmus auf meine Daten angewendet wird und mir das Ergebnis gezeigt wird
Im Kern ist das nicht anders als Rechtschreibprüfung oder das automatische Erstellen eines Inhaltsverzeichnisses anhand von Überschriftenstilen
Wenn das Ergebnis privat bleibt und nur mir gezeigt wird, was hier ja der Fall wäre, verstehe ich nicht, worin die Sorge besteht
Dass der Algorithmus auf einem Large Language Model basiert, hat nichts mit Privacy oder Sicherheit zu tun
Der Nutzer ist nicht der Kunde, sondern das Produkt
Statt Daten zu erzeugen, die Social-Media-Firmen für Werbeverkäufe nutzen, erzeugt man jetzt Daten für AI-Training und bekommt dafür den Dienst gratis
Es scheint nicht um Training zu gehen, sondern darum, ein Dokument vorübergehend zu lesen und eine Zusammenfassung anzubieten; ich verstehe nicht, warum das reguliert werden sollte
Ich meine, es gab einen frühen Versuch namens ai.txt, aber ich weiß nicht, wer sich bisher daran hält
Abgesehen davon, dass dieser Artikel offensichtlich missverständlich formuliert ist, hier eine Aufbereitung der in dem im Artikel erwähnten Tweet-Thread geteilten Links
Gemini-Aktivitätsverwaltung: https://myactivity.google.com/product/gemini
Seite, auf der die meisten Antworten zum Opt-out für Google Workspace und verschiedene Google-Apps zu finden sind: https://support.google.com/docs/answer/13447104#:~:text=Turn...
Der Titel macht die Sache etwas unklar
Wenn man Gemini bittet, ein Dokument zusammenzufassen, ist es nicht überraschend, dass es das tut
Das Wort „scannen“ leistet hier etwas zu viel, und der Titel deutet so an, als trainiere Google Gemini mit privaten Dokumenten
Der eigentliche Punkt ist, dass Gemini mit privaten Dokumenten als Input lief, obwohl der Nutzer glaubte, dies explizit deaktiviert zu haben
Trotzdem ist es ein bedeutsamer Bug in Googles Infrastruktur, wenn Einstellungen nicht eingehalten werden, und für Menschen, die die Nutzung der neuen AI-Generation grundsätzlich ablehnen, ist das wohl ein Anlass, die Exit-Strategie zu überprüfen
Wenn Gemini aber, nachdem man einmal um die Zusammenfassung einer PDF gebeten hat, alle PDFs in Drive zusammenfasst, dann wäre das überraschend
Ich glaube, der Titel ist irreführend
Ich hatte erwartet, es gehe darum, dass etwas zu Trainings- oder Testzwecken gescannt wurde, aber tatsächlich war es eine Funktion zum Zusammenfassen des Textes, den der Nutzer gerade ansah
Deshalb ist das Wort „caught“ unredlich
Man sagt nicht, jemand sei „erwischt“ worden, wenn er gerade etwas tut, von dem er angekündigt hat, dass er es tut
Der Titel stimmt also
Es ist nur eine Frage der Zeit, bis jemand etwas Wertvolles aus einem Google-Modell herauszieht
Das könnte ein Bankpasswort oder ein Kryptowährungs-Schlüssel sein
Der Klebstoff-Pizza-Vorfall zeigt, dass sie das alles einfach nur schnell durchdrücken
Das ähnelt dem Gerangel um Gesundheitsdaten während der Corona-Zeit.
Mehrere Gruppen versuchten, die Krise zu nutzen, um Daten ein für alle Mal aus der Tube zu drücken, und einige hatten damit Erfolg.
Der Preis für die anschließende Rüge ist niedrig, der Wert der erbeuteten Daten dagegen hoch.
Im Kern ist das ein bürokratischer Handstreich.
Für Menschen, die im Bereich Privacy gearbeitet haben, ist das enttäuschend, aber vorhersehbar, und die meisten tun kurz überrascht und gehen dann zur Tagesordnung über.
Denn Karrieren hängen davon ab, diese absurde Erzählung von den „guten Absichten“ aufrechtzuerhalten.
Als Nächstes sind wahrscheinlich die bei AT&T gehackten SMS-Nachrichten dran, und selbst wenn Handy-Tastatureingaben abgegriffen werden oder per OS-Update einer kommerziellen Plattform ein Sammel-Agent für das Modelltraining hinzugefügt wird, werden alle wieder genauso überrascht tun.
Natürlich wird das dann auch noch als Privacy-Stärkung für die Nutzerzufriedenheit verpackt werden.
Wenn man die Produktmanager und Engineers, die das verursacht haben, nicht zum Exempel macht, wird es beim nächsten Mal noch schlimmer und in größerem Maßstab wiederholt werden.
Der ursprüngliche Tweet und dieser Beitrag vermischen Begriffe absichtlich so, dass man sie missverstehen soll.
Es soll so wirken, als sei es dasselbe, wenn ein großes Sprachmodell auf irgendeine Weise ein Dokument zu Gesicht bekommt, oder wenn dieses Dokument in den Trainingsdatensatz des Modells aufgenommen wird.
Das ist der eigentliche Clickbait-Punkt des Beitrags und des Ursprungstweets, aber der Thread erkennt den Unterschied am Ende doch an und schwenkt dann darauf um, über die bloße Existenz der AI-Funktion wütend zu sein.
Substanziell steckt in dieser Geschichte nichts weiter, außer dass ein wegen AI-Popups verärgerter Twitter-Nutzer einen Empörungs-Thread geschrieben und die Sache als deutlich finsterer dargestellt hat, als sie ist.
Erstaunlich ist vor allem, dass sich sogar auf HN so viele Leute erfolgreich darüber täuschen lassen, was hier tatsächlich passiert.
Man fragt sich, ob überhaupt noch jemand postet, nachdem er den Artikel gelesen hat.
Ob es wirklich überraschen sollte, dass Google bei Privacy und Datenzugriff nicht weit genug geht, ist fraglich.
Sie reden zwar darüber, würden aber niemals so weit gehen, dass ihre eigenen Dienste keinen Zugriff mehr auf die Daten haben.
Alle Daten, die remote gespeichert werden, müssten an den Punkt kommen, an dem der Server sie nicht entschlüsseln kann und sie nur auf unserem Gerät entschlüsselt werden.
Andernfalls erlauben wir Unternehmen faktisch, Daten in beliebigem Umfang abzubauen, und wir haben keinerlei Möglichkeit zu wissen, was sie damit tatsächlich tun.
Natürlich bleibt dann noch das Problem, dass man glauben muss, dass sie sie wirklich nicht entschlüsseln können, und dafür gibt es keine gute Lösung.
AI-Zugriff auf persönliche Daten sollte auf dem Gerät selbst verarbeitet werden; wenn Server-Verarbeitung nötig ist, muss klar darauf hingewiesen werden, dass die Daten das Gerät verlassen, auch wenn man hofft, dass das nur ein kurzfristiges Problem ist.
Selbst wenn die Daten im Moment nicht für das Modelltraining verwendet werden, ist es nicht irrational anzunehmen, dass Daten, die durch Gemini oder irgendeinen Remote-Server laufen, protokolliert und später für weiteres Training verwendet werden könnten, in Klartext-Logs liegen oder von Testern eingesehen werden können.
Am Ende läuft es immer auf eine Struktur hinaus, in der das Unternehmen sagt: „Vertraut uns“, und es ist nur allzu klar, dass Unternehmen für genau diese Art von Verantwortung nicht vertrauenswürdig sind.