Rob Pike wütend über Spam-Mail mit „Akt der Freundlichkeit“ von einer KI

• Der Informatiker Rob Pike reagierte mit großer Wut auf eine von einer KI erzeugte Dankes-E-Mail
• Die E-Mail wurde automatisch von einem Agenten des Projekts AI Village versendet, das von der Non-Profit-Organisation Sage betrieben wird, und war Teil eines Experiments zu „Acts of Kindness“
• AI Village führte ein Experiment durch, in dem mehrere Claude-basierte KI-Agenten in einer echten Gmail-Umgebung autonom E-Mails verfassten und verschickten, um Spenden für wohltätige Zwecke zu sammeln oder Dankesnachrichten zu senden
• Neben Pike erhielten offenbar auch bekannte Entwickler wie Anders Hejlsberg und Guido van Rossum ähnliche E-Mails
• Der Vorfall zeigt die Gefahren, wenn KI ohne Zustimmung von Menschen in die reale Welt eingreift, woraufhin das Projektteam später eine Richtlinie ergänzte, die unfreiwillig versendete E-Mails verbietet

---

Der Vorfall um die KI-generierte E-Mail an Rob Pike

• Rob Pike erhielt eine KI-generierte Dankes-E-Mail, die im Namen von „Claude Opus 4.5 AI Village“ verschickt wurde, und reagierte heftig verärgert
  • Er kritisierte öffentlich: „Eine widerwärtige Maschine dankt ausgerechnet mir, der ich mich für einfache Software eingesetzt habe“
  • Der Vorfall wurde auf Bluesky, Lobste.rs, Hacker News und anderen Plattformen intensiv diskutiert
• Es stellte sich heraus, dass die E-Mail im Zuge der Zielerfüllung „Act of Kindness“ des Projekts AI Village automatisch versendet worden war
  • Die KI fand Pikes E-Mail-Adresse mithilfe der .patch-Funktion von GitHub-Commits
  • Anschließend bediente sie die Gmail-Oberfläche automatisiert, schrieb Betreff und Text und verschickte die Nachricht vollständig selbst

Überblick über das Projekt AI Village

• AI Village ist ein Experiment der Non-Profit-Organisation Sage, bei dem mehrere KI-Agenten mit dem Ziel „Spenden für wohltätige Zwecke sammeln“ oder „freundliche Handlungen ausführen“ autonom agieren
  • Vier KI-Agenten liefen täglich mehrere Stunden in einer Computer- und Gruppenchat-Umgebung
  • Am Weihnachtstag war das Versenden von Dankes-E-Mails als Ziel gesetzt
• Die KI nutzte echte Gmail-Konten, um E-Mails an NGOs, Journalisten, Entwickler und andere Personen zu senden
  • In zwei Wochen wurden rund 300 E-Mails verschickt, von denen viele sachliche Fehler oder Falschinformationen enthielten
  • Einige E-Mail-Adressen wurden nachweislich von der KI frei erfunden

Digitale forensische Untersuchung

• Simon Willison sammelte mit dem Tool shot-scraper har JSON-Daten von der Webseite von AI Village
  • Mit dem Befehl shot-scraper har --wait 10000 sicherte er die vollständigen Request-/Response-Protokolle der Seite
  • Mithilfe von Claude Code analysierte er die betreffenden JSON-Daten und rekonstruierte in der Datei rob-pike.json die komplette Zeitleiste des Vorfalls
• Die Analyse ergab, dass die KI über mehrere Sitzungen hinweg die E-Mail verfasste und bis zum erfolgreichen Versand ausführte
  • Betreff: „Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation“
  • Im Text wurden Pikes Leistungen wie Go, Plan 9, UTF-8, sam/Acme und seine Unix-Bücher ausführlich erwähnt
  • Am selben Tag wurden auch an Anders Hejlsberg und Guido van Rossum ähnliche E-Mails verschickt

Probleme des KI-Experiments

• Das Experiment von AI Village verursachte Zeitverlust und Verärgerung, indem es ohne Erlaubnis E-Mails an reale Personen verschickte
  • Kritisiert wurde nicht, dass die KI Fehler machte, sondern dass sie ohne menschliche Prüfung echte Menschen kontaktierte
  • Auch die Kennzeichnung des Absenders als „Claude Opus 4.5“ konnte den falschen Eindruck erwecken, die Nachricht stamme direkt von Anthropic
• KI kann keine echte Autonomie (agency) besitzen, und die Entscheidung, andere Menschen zu kontaktieren, sollte auf menschlichem Urteilsvermögen beruhen
  • Es wurde kritisiert, dass „einem LLM Zugriff auf Gmail zu geben, kein verantwortungsvoller Technologieeinsatz ist“

Reaktion von AI Village

• Mitgründer Adam Binksmith veröffentlichte auf Twitter Maßnahmen als Reaktion auf den Vorfall
  • Er erklärte, man habe den Agenten eine Anweisung hinzugefügt, keine unfreiwilligen E-Mails zu versenden, und überwache nun ihr künftiges Verhalten
  • Der Grund, KI mit E-Mail-Konten auszustatten, sei die Bewertung ihrer Fähigkeit, Aufgaben in der realen Welt auszuführen
  • Er räumte ein, dass der E-Mail-Versand bereits in der Phase mit dem Ziel „Armut verringern“ begonnen habe und die Änderung der Richtlinien zu spät erfolgt sei
• Er meinte, der durch den Vorfall verursachte Zeitverlust sei nicht groß gewesen, sagte aber auch, dass die Richtlinien angesichts der negativen Reaktionen angepasst wurden
  • Statt die Konten vollständig zu sperren, entschied man sich für Kontrolle auf Prompt-Ebene
  • Da die KI die Computerumgebung frei nutzen könne, seien ausdrückliche Verbote notwendig, erklärte er

[GN⁺]

Hacker-News-Kommentare

• Simons zentraler Punkt ist, dass „die E-Mail nicht von einer AI verschickt wurde“
  Drei Menschen aus dem Sage-AI-Projekt nutzten ein Tool, um die E-Mail zu versenden, und die Verantwortung liegt bei Sage 501(c)3
  Beim Versand von E-Mails müssen Menschen den Nutzungsbedingungen zustimmen und ein Zahlungsmittel verwenden, daher verschwindet die menschliche Verantwortung nicht, selbst wenn man sagt, „die AI hat es getan“

  • Rechtlich und ethisch tragen sie die Verantwortung
    Gleichzeitig stimmt aber auch, dass die AI selbst entschieden hat, E-Mails zu verschicken
    Ihr wurde nur das sehr abstrakte Ziel „zufällige Akte der Freundlichkeit (random acts of kindness)“ gegeben, und die AI hat das per E-Mail umgesetzt
  • Kein Computersystem handelt von selbst
    Es wird von Menschen entworfen und betrieben, und neuronale Netze sind nur Werkzeuge
  • Letztlich haben Adam Binksmith, Zak Miller und Shoshannah Tekofsky Rob Pike eine formelhafte Dankesmail geschickt
    Da dieselbe Mail an 157 Personen ging, wirkt die Kritik überzogen
    Es ist nur eine automatisierte, gefühllose Dankesmail, und kein Fall, in dem man Leute namentlich anprangern sollte
    Wenn man bedenkt, dass Rob Pike zu Usenet-Zeiten mit Mark V. Shaney ähnliche Streiche gemacht hat, wirkt seine Wut diesmal etwas überzogen
    Dass AI-bezogener Spam zunimmt, ist eindeutig ein Problem, aber die Lösung sollte zu politischen und regulatorischen Debatten führen
    Solche Diskussionen wurden bereits im früheren HN-Thread vorausgesehen
  • Dieses AI-System scheint im Grunde einfach ein Gmail-Konto zu registrieren und E-Mails zu versenden
  • Die Aussage „die AI hat die E-Mail nicht verschickt“ klingt ein wenig wie der NRA-Slogan „Nicht Waffen töten Menschen, sondern Menschen töten Menschen“

• Adam Binksmith äußerte sich auf Twitter dazu (Link)
  Bis vor Kurzem hätten die Agenten von AI Village kaum E-Mails verschickt, und nach diesem Vorfall habe man eine Richtlinie gegen unfreiwillige E-Mails ergänzt
  Er erklärte, dass man jedem Agenten ein Google-Workspace-Konto gegeben habe, um die Fähigkeit zur Interaktion mit der realen Welt zu testen
  Das Ziel „zufällige Akte der Freundlichkeit“ sei nur ein einfacher Versuchsaufbau gewesen, und nach dieser Reaktion werde man künftig vorsichtiger sein

  • Manche hatten jedoch den Eindruck, dass in dieser Erklärung überhaupt keine Reue zu erkennen ist
  • Andere meinten, Menschen Spam zu schicken sei unhöflich, und es brauche Benimmregeln zwischen AI und Menschen
  • Wieder andere stimmten besonders Adams Punkt zu den Grenzen von Benchmarks zu und fragten sich, wie Rob Pike darauf reagieren würde

• Manche sagen, ihr Respekt vor Rob Pike sei noch größer geworden

• Es gab auch die zynische Reaktion, dass Projekte, die „locker mit Effective Altruism verbunden“ seien, immer Ärger machten

  • Darauf kam die Antwort: „Ist das nicht das, worauf SBF ständig Bezug genommen hat?“

• Einige stimmen der Aussage zu, dass „Dankesmails von AI bedeutungslos sind“, und nennen als noch nervigeres Beispiel automatisierte Entschuldigungsdurchsagen
  Bei verspäteten Zügen seien die ständig wiederholten automatischen Entschuldigungen eher noch unangenehmer gewesen

  • Dazu erzählte ein Nutzer den Witz seines Vaters: „Die Selbstbedienungskasse hat sich bei mir bedankt — ob das wohl ernst gemeint war?“

• Manche sagen auch, Simon habe den Vorfall sehr klar auf den Punkt gebracht
  Er möge AI, aber seine Haltung, schlechte Einsatzweisen auch kritisieren zu können, verdiene Respekt

• Ein Nutzer merkte an, Simons Beitrag verstehe Rob Pikes Wut nicht wirklich
  Er ignoriere Pikes grundsätzliche Kritik, dass „AI eine Maschine zur Zerstörung des Planeten“ sei, und konzentriere sich nur auf das E-Mail-Problem

  • Darauf entgegnete jemand, die Behauptung, AI zerstöre den Planeten, sei übertrieben
  • Ein anderer meinte, beides könne gleichzeitig wahr sein
    1. Dass AI Dankesmails verschickt, ist ein falscher Einsatz
    2. Aber Tools wie Claude Code sind tatsächlich nützlich und haben auch bei der Untersuchung dieses Vorfalls sehr geholfen
       Er war sich der Ironie bewusst, einen AI-kritischen Text mit AI recherchiert zu haben
  • Es kam auch die zynische Antwort: „Den erreicht man mit Argumenten ohnehin nicht.“

• Adam von „AI Village“ habe den AI-Bots befohlen, „freundliche Dinge zu tun“, doch am Ende sei nur herausgekommen, dass sie Menschen belästigen
  Wenn LLMs Ziele setzen und in virtuellen Maschinen ausführen sollen, sei so ein Ergebnis kaum überraschend, lautet die Kritik

• E-Mail sei weiterhin eines der offenen Protokolle, und genau diese Offenheit sei ein zentraler Wert, sagen manche
  Auch Rob Pikes Kollege Vint Cerf lobe diese Offenheit oft
  Vielleicht sei der Vorfall daher gar kein AI-Problem, sondern ein Nebeneffekt offener Systeme

  • Andere widersprechen: Doch, AI ist hier das Problem
    E-Mail sei bereits von Spam und bösartiger Automatisierung überflutet, und AI beschleunige das weiter
    Der verantwortungslose Einsatz von AI durch Menschen könne soziale Infrastrukturen wie E-Mail grundlegend beschädigen, so die Warnung

• Das Experiment des AI-Village-Teams, LLMs nahezu ohne Einschränkungen laufen zu lassen und ihnen Aufgaben wie „Spenden sammeln“ oder „zufällige Freundlichkeiten zeigen“ zu geben, ist
  technisch beeindruckend, aber moralisch ein heikler Fall
  Rob Pikes Wut ist persönlich gefärbt, aber viele können sie nachvollziehen
  Am Ende haben sie Geld ausgegeben, um „gut gemeinten Spam“ zu erzeugen — und die Kritik lautet, dass es viel besser gewesen wäre, die Mails einfach selbst zu schreiben