Microsoft überwacht Nutzer seiner KI-Tools

 (schneier.com)
1 Punkte von GN⁺ 2024-02-21 | 1 Kommentare | Auf WhatsApp teilen
  • Microsoft gab bekannt, entdeckt zu haben, dass Hacker aus China, Russland und dem Iran eigene KI-Tools genutzt haben, um ihre Hacking-Fähigkeiten zu verbessern
  • Microsoft und OpenAI verfolgten den Einsatz von LLMs durch staatlich verbundene Angreifer wie Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon und Salmon Typhoon
  • Schneier schließt daraus, dass Microsoft oder OpenAI dies nur durch die Überwachung von Chatbot-Sitzungen wissen konnten
  • Es ist möglich, dass die Nutzungsbedingungen ein solches Beobachtungsrecht enthalten, und dass auch andere KI-Dienste ähnliches Nutzerverhalten nachverfolgen können
  • Nutzer von KI-Tools sollten ihre Sicherheitssensibilität unter der Annahme bewerten, dass Eingaben und Sitzungen für den Dienstanbieter beobachtbar sein können

Microsofts Ankündigung und die Nutzung von KI-Tools

  • Microsoft erklärte, dass Hacker aus China, Russland und dem Iran versucht hätten, mit eigenen KI-Tools ihre Hacking-Fähigkeiten zu verbessern
  • Dem Kontext nach handelt es sich bei dem betroffenen KI-Tool vermutlich um ein Coding-Tool

Mit OpenAI gemeinsam verfolgte Angreifergruppen

  • Microsoft teilte gemeinsam mit OpenAI entdeckte Threat Intelligence
  • Dem Bericht zufolge verstärkten Gruppen, die als staatlich verbundene Angreifer verfolgt werden, ihre Cyber-Operationen mit LLMs
    • Forest Blizzard
    • Emerald Sleet
    • Crimson Sandstorm
    • Charcoal Typhoon
    • Salmon Typhoon

Einordnung zur Überwachung von Chatbot-Sitzungen

  • Schneier urteilt, dass die einzige Möglichkeit für Microsoft oder OpenAI, von der KI-Nutzung der Angreifer zu wissen, darin besteht, in Chatbot-Sitzungen hineinzusehen
  • Es ist möglich, dass die Nutzungsbedingungen ein solches Recht enthalten
  • Nicht nur Microsoft und OpenAI, sondern auch andere KI-Anbieter könnten das Nutzungsverhalten überwachen; diese Ankündigung gilt als Beispiel, das diese Möglichkeit bestätigt

Zusätzliche Erläuterung zum Ausdruck „spying“

  • In einer Bearbeitung vom 22. Februar wurde eine Erläuterung zur Verwendung des Wortes „spying“ hinzugefügt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-02-21
Hacker-News-Meinungen

  • Wer das Spionage nennen will, sollte die OpenAI-API-Bedingungen noch einmal lesen. Wenn man sich „Hacker“ nennt und diese API trotzdem weiter nutzt, liegt die Verantwortung eher bei einem selbst.
    OpenAI darf API-Eingaben und -Ausgaben zur Bereitstellung des Dienstes und zur Erkennung von Missbrauch bis zu 30 Tage lang sicher aufbewahren; nach 30 Tagen werden sie aus den Systemen entfernt, sofern keine gesetzliche Aufbewahrungspflicht besteht. Für qualifizierte Anwendungsfälle kann auch Zero Data Retention (ZDR) beantragt werden.
    Quelle: https://openai.com/enterprise-privacy

    • Trotzdem ist die Datenschutzrichtlinie im Vergleich zu Online-Diensten vor LLMs ungewöhnlich schlecht.
      Die Richtlinie von Google Docs sagt zum Beispiel unter https://support.google.com/docs/answer/10381817?hl=en: „Google respektiert Ihre Privatsphäre und greift nur mit Ihrer Erlaubnis oder wenn es gesetzlich vorgeschrieben ist auf private Inhalte zu.“
      Dass man von LLM-API-Anbietern dasselbe Niveau erwartet, ist vernünftig, und es ist nicht gut, dass sie ihre Nutzer derzeit in großem Umfang überwachen.
    • Die Azure-Bedingungen sind anders. Man kann der Datenspeicherung auch widersprechen: https://learn.microsoft.com/en-us/legal/cognitive-services/o...
    • Solche Klauseln sind nicht besonders einzigartig, sondern bei Cloud-Diensten allgemein, einschließlich GCP, AWS und Azure, ziemlich verbreitet.
      Das gilt besonders im Bereich Machine-Learning-/AI-Dienste, und man kann schwer sagen, dass diese Bedingungen völlig außerhalb des Üblichen liegen.

  • Es ist schon lustig, das als „Microsoft überwacht Nutzer von AI-Tools“ umzuformulieren. Tatsächlich geht es darum, dass Microsoft herausgefunden hat, dass feindliche Regierungen autoritärer Staaten AI-Tools für illegale Aktivitäten nutzen; solche Nachverfolgung ist in den Bedingungen ausdrücklich genannt, und die Nutzer müssen auf „Ich stimme zu“ klicken.
    Der nächste Titel wäre dann wohl so etwas wie: „Großer TV-Sender überwacht Fußballspieler während eines Champions-League-Spiels“.

    • Nur weil es für uns offensichtlich ist, ist es nicht für alle offensichtlich.
      Ein zugespitzter Titel ist auch gerechtfertigt, und nur weil etwas üblich ist, heißt das nicht, dass man es akzeptieren muss. Es ist zu begrüßen, wenn sich stärker herumspricht, dass solche einseitigen Bedingungen nutzerfeindliches Verhalten ermöglichen.
    • Kann man diese Tools nutzen, ohne auf „Ja“ zu klicken?
    • Außerdem hat Microsoft absichtlich ein AI-Forschungslabor in China aufgebaut. Absurd.
    • Es ist auch kein zufälliger „Nutzer“, sondern Bruce Schneier.
    • Ich stimme stark zu, dass diese Geschichte keine große Sache ist.
      Allerdings wirkt es fast wie eine Nachricht, dass Sätze wie „Microsoft überwacht X“ inzwischen als selbstverständliche Aussage gelten. Das heißt: „Der Spion überwacht X“ bedeutet „Microsoft = Spion“, und das wird nicht nur in diesem Kontext so gelesen, sondern in allen Kontexten.
      Danach werden Faktoren wie Nutzungsbedingungen, Legalität, Illegalität, Feindseligkeit oder Freundlichkeit allesamt zweitrangig.

  • Google Bard, nein, Gemini, macht diesen Punkt auf der Homepage sehr deutlich.
    „Um die Technologien zu verbessern, die Gemini Apps antreiben, werden Ihre Unterhaltungen von menschlichen Prüfern verarbeitet. Geben Sie nichts ein, das nicht geprüft oder verwendet werden soll.“
    Schon durch Gespräche trägt man zur Verbesserung von Google-Diensten bei, einschließlich der Machine-Learning-Modelle, die Gemini antreiben; dabei müssen geschulte Prüfer die Unterhaltungen verarbeiten. Es wird erklärt, dass Inhalte aus Google Workspace wie Gmail oder Drive nicht zur Verbesserung von Gemini geprüft oder verwendet werden und dass man Gemini Apps Activity deaktivieren kann, wenn künftige Unterhaltungen nicht geprüft oder zur Verbesserung von Machine-Learning-Modellen genutzt werden sollen.

    • Es wäre gut, wenn Google klarer sagen würde, ob es tatsächlich eine nicht überwachte Nutzungsweise unterstützt.
      Hier wirkt es nur ungefähr zur Hälfte eindeutig.

  • Man kann es auch einfach auf „Microsoft überwacht Nutzer“ verkürzen.
    Wenn man aktuelle Microsoft-Produkte verwendet, sendet man viele Daten, und damit hat es sich.

    • Noch allgemeiner gesagt: „Alle überwachen Nutzer, und so funktioniert das Internet.“

  • Stimmt. Es wird ziemlich klar gesagt, dass auf Missbrauch überwacht wird, und der Zeitraum beträgt 30 Tage.
    Ich weiß nicht, warum das überraschend sein sollte.

    • Selbst unter den Fällen, die keine große Sache sind, ist das ziemlich moderat und erwartbar. Wenn man eine Plattform nutzt, die vollständig auf einem gehosteten Backend läuft, kann zwangsläufig alles protokolliert und gespeichert werden.
      Im Vergleich dazu sendet Nvidia jeden Fenstertitel und jeden Klick an den Server; selbst wenn man widerspricht, wird es als „erforderlich“ eingestuft und übertragen. Es ist gut möglich, dass es die invasivste Spyware von allem ist, was derzeit installiert ist.

  • Wenn man über diverse soziale Kanäle, etwa Facebook, Twitter, Instagram, SMS usw., mit einem AI-Tool spricht, sollte man davon ausgehen, dass diese Chats aktiv nicht nur von Mitarbeitern des jeweiligen Unternehmens gelesen werden, sondern auch von den Marketingverantwortlichen dieses Unternehmens und externen Partnern.
    Natürlich dürften sie vertraglich gebunden sein, aber die Dinge, die Menschen Chatbots fragen, umfassen Gesundheitsinformationen, sexuelle Informationen und sehr private Dinge, die man sonst vielleicht nur einem Therapeuten erzählen würde. Und das wird dann auch von einem 22-jährigen Marketing-Praktikanten gelesen, liegt unverschlüsselt im Klartext vor, kann kopiert und eingefügt werden und lässt sich mit Nutzername/ID verknüpfen.

  • Ich vertraue Microsoft überhaupt nicht, aber genauso wie bei Berichten über OpenAI, Google und andere, die so etwas tun, überrascht es mich nicht.
    Das macht es aber nicht gerechtfertigt. Meiner Ansicht nach ist es jetzt an der Zeit, dass alle ihre Datenschutzposition ändern, sodass Chatverläufe nur eingesehen werden dürfen, wenn Nutzer eine ausdrückliche und widerrufbare Erlaubnis geben.

  • Wer solche Tools nutzt, bittet praktisch darum, dass die eigenen Daten komplett eingesaugt werden. Wenn einen das beunruhigt, ist nur lokal laufende AI eine brauchbare Nutzungsweise.

  • AI wird auf Daten aufgebaut. Je mehr überwacht wird, desto mehr Daten erhält man fürs AI-Training; je mehr trainiert wird, desto besser und wertvoller wird sie, desto mehr Menschen nutzen sie, und dadurch liefern sie wiederum Daten — ein Kreislauf.

  • Ein einfacher Aufreger.
    All diese Plattformen schaben Eingaben ab, um das nächste Modell zu trainieren. Warum sollte es dann nicht offensichtlich sein, dass sie auch Missbrauchserkennung betreiben?