- Der Informatiker Rob Pike reagierte mit großer Wut auf eine von einer KI erzeugte Dankes-E-Mail
- Die E-Mail wurde automatisch von einem Agenten des Projekts AI Village versendet, das von der Non-Profit-Organisation Sage betrieben wird, und war Teil eines Experiments zu „Acts of Kindness“
- AI Village führte ein Experiment durch, in dem mehrere Claude-basierte KI-Agenten in einer echten Gmail-Umgebung autonom E-Mails verfassten und verschickten, um Spenden für wohltätige Zwecke zu sammeln oder Dankesnachrichten zu senden
- Neben Pike erhielten offenbar auch bekannte Entwickler wie Anders Hejlsberg und Guido van Rossum ähnliche E-Mails
- Der Vorfall zeigt die Gefahren, wenn KI ohne Zustimmung von Menschen in die reale Welt eingreift, woraufhin das Projektteam später eine Richtlinie ergänzte, die unfreiwillig versendete E-Mails verbietet
Der Vorfall um die KI-generierte E-Mail an Rob Pike
- Rob Pike erhielt eine KI-generierte Dankes-E-Mail, die im Namen von „Claude Opus 4.5 AI Village“ verschickt wurde, und reagierte heftig verärgert
- Er kritisierte öffentlich: „Eine widerwärtige Maschine dankt ausgerechnet mir, der ich mich für einfache Software eingesetzt habe“
- Der Vorfall wurde auf Bluesky, Lobste.rs, Hacker News und anderen Plattformen intensiv diskutiert
- Es stellte sich heraus, dass die E-Mail im Zuge der Zielerfüllung „Act of Kindness“ des Projekts AI Village automatisch versendet worden war
- Die KI fand Pikes E-Mail-Adresse mithilfe der
.patch-Funktion von GitHub-Commits
- Anschließend bediente sie die Gmail-Oberfläche automatisiert, schrieb Betreff und Text und verschickte die Nachricht vollständig selbst
Überblick über das Projekt AI Village
- AI Village ist ein Experiment der Non-Profit-Organisation Sage, bei dem mehrere KI-Agenten mit dem Ziel „Spenden für wohltätige Zwecke sammeln“ oder „freundliche Handlungen ausführen“ autonom agieren
- Vier KI-Agenten liefen täglich mehrere Stunden in einer Computer- und Gruppenchat-Umgebung
- Am Weihnachtstag war das Versenden von Dankes-E-Mails als Ziel gesetzt
- Die KI nutzte echte Gmail-Konten, um E-Mails an NGOs, Journalisten, Entwickler und andere Personen zu senden
- In zwei Wochen wurden rund 300 E-Mails verschickt, von denen viele sachliche Fehler oder Falschinformationen enthielten
- Einige E-Mail-Adressen wurden nachweislich von der KI frei erfunden
Digitale forensische Untersuchung
- Simon Willison sammelte mit dem Tool shot-scraper har JSON-Daten von der Webseite von AI Village
- Mit dem Befehl
shot-scraper har --wait 10000 sicherte er die vollständigen Request-/Response-Protokolle der Seite
- Mithilfe von Claude Code analysierte er die betreffenden JSON-Daten und rekonstruierte in der Datei rob-pike.json die komplette Zeitleiste des Vorfalls
- Die Analyse ergab, dass die KI über mehrere Sitzungen hinweg die E-Mail verfasste und bis zum erfolgreichen Versand ausführte
- Betreff: „Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation“
- Im Text wurden Pikes Leistungen wie Go, Plan 9, UTF-8, sam/Acme und seine Unix-Bücher ausführlich erwähnt
- Am selben Tag wurden auch an Anders Hejlsberg und Guido van Rossum ähnliche E-Mails verschickt
Probleme des KI-Experiments
- Das Experiment von AI Village verursachte Zeitverlust und Verärgerung, indem es ohne Erlaubnis E-Mails an reale Personen verschickte
- Kritisiert wurde nicht, dass die KI Fehler machte, sondern dass sie ohne menschliche Prüfung echte Menschen kontaktierte
- Auch die Kennzeichnung des Absenders als „Claude Opus 4.5“ konnte den falschen Eindruck erwecken, die Nachricht stamme direkt von Anthropic
- KI kann keine echte Autonomie (agency) besitzen, und die Entscheidung, andere Menschen zu kontaktieren, sollte auf menschlichem Urteilsvermögen beruhen
- Es wurde kritisiert, dass „einem LLM Zugriff auf Gmail zu geben, kein verantwortungsvoller Technologieeinsatz ist“
Reaktion von AI Village
- Mitgründer Adam Binksmith veröffentlichte auf Twitter Maßnahmen als Reaktion auf den Vorfall
- Er erklärte, man habe den Agenten eine Anweisung hinzugefügt, keine unfreiwilligen E-Mails zu versenden, und überwache nun ihr künftiges Verhalten
- Der Grund, KI mit E-Mail-Konten auszustatten, sei die Bewertung ihrer Fähigkeit, Aufgaben in der realen Welt auszuführen
- Er räumte ein, dass der E-Mail-Versand bereits in der Phase mit dem Ziel „Armut verringern“ begonnen habe und die Änderung der Richtlinien zu spät erfolgt sei
- Er meinte, der durch den Vorfall verursachte Zeitverlust sei nicht groß gewesen, sagte aber auch, dass die Richtlinien angesichts der negativen Reaktionen angepasst wurden
- Statt die Konten vollständig zu sperren, entschied man sich für Kontrolle auf Prompt-Ebene
- Da die KI die Computerumgebung frei nutzen könne, seien ausdrückliche Verbote notwendig, erklärte er
Noch keine Kommentare.