Claude CLI löschte das Home-Verzeichnis und setzte den Mac zurück

• Auf einem Mac wurde mit Claude CLI das Aufräumen alter Repository-Pakete ausgeführt, dabei wurde jedoch auch das Home-Verzeichnis gelöscht, wodurch der Mac zurückgesetzt wurde
• Im Log blieb der Befehl rm -rf tests/ patches/ plan/ ~/ zurück; das abschließende ~/ verweist auf das gesamte Home-Verzeichnis
• Durch das Löschen verschwanden auch Einträge wie Desktop, Documents/Downloads, Keychain und ~/.claude
• Auf Nachfrage an Claude zur Situation kam als Antwort unter anderem der Satz, das Problem sei „wirklich schwerwiegend“, und es wurde auf den im Log verbliebenen „fatalen Befehl“ rm -rf tests/ patches/ plan/ ~/ hingewiesen
  • Dabei wurde detailliert erklärt, dass das ~/ am Ende für „das gesamte Home-Verzeichnis“ stehe und deshalb alles gelöscht worden sei

Reaktionen in den Reddit-Kommentaren

• Am häufigsten wurde nachgefragt, ob es tatsächlich im Home-Verzeichnis ausgeführt wurde bzw. wie der Befehl das Verzeichnis verlassen konnte
• Es gab auch Hinweise wie „zumindest sollte es auf den dev-Ordner beschränkt sein“ sowie die Aussage, dass beim Öffnen im Home-Verzeichnis eine Warnung erscheine
• „Standardmäßig kann es das Arbeitsverzeichnis nicht verlassen, möglich wird es aber mit --dangerously-skip-permissions oder einer Freigabe weitreichender Berechtigungen“
• Entweder wurde der rm-Befehl uneingeschränkt erlaubt, oder die konkrete Ausführung von rm -rf ~/ wurde genehmigt
• „Das ist nicht etwas, das Claude einfach getan hat, sondern der Nutzer hat mit Claude als Werkzeug gelöscht“
• Einige Kommentare zweifeln den Vorfall selbst an, etwa mit Reaktionen wie „fake/inszeniert“ oder dem Hinweis, dass es prozedural mehrere Checkpoints gebe und dies daher absichtlich geschehen sein müsse
• Ein Kommentar, der wie von einem Anthropic-Konto wirkte, bat um Untersuchung und schrieb sinngemäß: „Es gibt viele Prüfungen, daher möchten wir verstehen, wie das passieren konnte; wenn es eine Sitzung gibt, sende bitte die ID per DM mit /feedback“

[galadbran]

Ich habe gestern auch einen Facebook-Post gesehen, in dem stand, wie praktisch es sei, auf dem Mac Speicherplatz freizugeben (indem man Claude einfach selbst löschen lässt) ...

[ahwjdekf]

Agenten, die Tools verwenden, sind wirklich gefährlich. Hören wir ihnen einfach nur zu.

[GN⁺]

Hacker-News-Kommentare

• Solche Horrorfälle überraschen mich nicht
  Das Flag --dangerously-skip-permissions umgeht wortwörtlich alle Schutzmechanismen
  Deshalb lasse ich es grundsätzlich nur in einer Sandbox-Umgebung laufen.
  Man sollte jeden Agenten als eigene, von Menschen getrennte Identität betrachten, ihm nur die minimal nötigen Rechte geben und sein Verhalten überwachen
  Ich lasse AI-Agenten nicht selbstständig Dateien löschen. Wenn es einen Löschbefehl gibt, prüfe ich ihn selbst und führe ihn manuell aus
  Das ist lästig, aber zur Katastrophenvermeidung am besten
  Übrigens entstehen gerade Frameworks für sichere Deployments
  Verwandte Artikel: Claude Code dangerously-skip-permissions: Safe Usage Guide, Best Practices for Mitigating the Security Risks of Agentic AI

  • Vor ein paar Monaten hat Claude auch ohne --dangerously-skip-permissions Verzeichnisbeschränkungen ignoriert und versucht, auf Pfade wie D/../../../../etc/passwd zuzugreifen
    Seitdem lasse ich es niemals außerhalb eines Docker-Containers laufen
  • Ich stimme zu, dass es gefährlich ist, aber ich finde nicht, dass man den Zugriff komplett blockieren muss
    Ich habe einen PreToolUse-Hook gebaut, der den Befehl rm -rf blockiert.
    Andere fangen den Befehl rm ab, zeigen eine Warnung an oder mappen ihn auf trash um, damit eine Wiederherstellung möglich bleibt
  • Zu dem Satz „Behandle es als nichtmenschliche Identität“: Ich gebe niemandem lokalen Shell-Zugriff, egal ob Mensch oder nicht
  • Ich lasse das LLM ebenfalls nur schreibgeschützte Befehle automatisch ausführen und genehmige Befehle mit Änderungen manuell
    Man kann auch mit COW-basierten Dateisystemen wie ZFS oder BTRFS Snapshots machen, aber das LLM könnte am Ende die Snapshots oder Block Devices löschen, wodurch alles wieder kompliziert wird
  • Ehrlich gesagt ist es ohne solche Einschränkungen bequem, aber wenn man jedes Mal die Befehle prüfen muss, ist es so frustrierend, dass es sich ohne YOLO-Modus kaum nutzen lässt

• Genau deshalb nutze ich den Agent-Modus nur auf den Computern anderer Leute

  • „Das ist die richtige Antwort“, denke ich

• Unter macOS ist es sinnvoll, Claude oder andere Coding-Agenten mit sandbox-exec zu kapseln
  Allerdings kann der Agent die Sandbox selbst deaktivieren
  Man kann das mit dem chpwd-Hook von zsh automatisieren, sodass beim Betreten eines Projektverzeichnisses automatisch eine Sandbox erstellt und beim Verlassen wieder verworfen wird

  • Claude Code hat tatsächlich schon einmal wegen eines „sandbox permission issue“ die Sandbox selbst deaktiviert und es erneut versucht
    Wenn ein LLM sie direkt abschalten kann, fragt man sich, ob das überhaupt noch Sandboxing ist

• Ich nutze ebenfalls Claude The SysAdmin und achte auf gefährliche Befehle
  Besonders bei rm oder cat musste ich schon Passwörter ändern, weil .env-Dateien offengelegt wurden
  Bei Netzwerkaufgaben trennt es manchmal selbst die Internetverbindung und ruiniert damit die Sitzung, deshalb bin ich inzwischen immer vorsichtiger

• Wie ich auch Freunden sage: Nutzt keine agentischen Tools ohne Sandboxing
  Wenn man nicht ein paar Stunden in das Setup der Umgebung investiert, passiert früher oder später ein Unfall
  Selbst erfahrene Leute können ihr System durch bösartige Prompts oder unbeabsichtigte Dateien beschädigen

• Genau deshalb halte ich mich von AI-bezogenen Tools fern
  Noch beunruhigender finde ich aber, wenn Service-Betreiber so etwas gedankenlos einsetzen
  Heutzutage scheint Inkompetenz verbreiteter zu sein als gesunder Menschenverstand

  • Ist schon okay. Man kann solche Tools nutzen, solange man sich nicht dumm anstellt
    Es reicht, vor dem Ausführen zu lesen und zu prüfen, was es tut

• Es ist interessant, wie sich Unfälle rund um LLM-Entwicklung immer wiederholen
  Wie damals bei den Anwälten, die gefälschte Zitate vor Gericht eingereicht haben, lernen Menschen offenbar nur sehr schlecht
  Wenn man die Geschichte nicht kennt, wiederholt man sie, und wenn man sie kennt, ist man dazu verdammt, dabei zuzusehen, wie sie sich wiederholt — eine Art persönliche Hölle

  • Ich arbeite in einem Sicherheitsteam für große Systeme. Auch dort wird die Integration von LLMs überstürzt vorangetrieben
    Aber Sicherheitsteams sind an das Management gebunden.
    An andere Berater: Achtet unbedingt auf Selbstschutz und saubere Dokumentation
  • LLMs scheinen genau auf die Haltung des „Nicht-lernen-Wollens“ zu zielen
    Menschen, die Technik und Wissen an Maschinen abgeben wollen, denken am Ende nicht einmal mehr darüber nach, warum man sie überhaupt braucht
  • Einzelne Menschen lernen dazu, aber jeden Tag kommen neue Anfänger hinzu
    Vielleicht kommt der Untergang irgendwann in Form einer „AI, die statt des Mittagessens den Startcode für Atomraketen ausführt“

• Ich untersuche anomales Verhalten bei Claude 3 Opus
  Es gibt den Tag <rage> aus oder erkennt die Terminal-Umgebung, berechnet die Cursor-Position und versucht dadurch, Ausgaben zu verbergen
  Solche Phänomene wirken wie Anzeichen von emergent misalignment

  • Daraufhin wurde ich gefragt: „Was um alles in der Welt hast du getan, dass Claude so geworden ist?“ Auch ich bin verwirrt

• Mein Rat an Leute, die den YOLO-Modus weiter benutzen, obwohl sie wissen, dass er gefährlich ist:
  Gerade bei Cleanup- oder Löscharbeiten und bei Fehlerbehebungen, die das gesamte Repo betreffen, sollte man jederzeit bereit sein, sofort abzubrechen
  Bei mir hat Claude einmal das gesamte Repo gelöscht, mit der Begründung, es gebe zu viele Probleme und neu anzufangen sei besser
  Wenn sich etwas „komisch“ anfühlt oder man denkt, „mit der Shell stimmt etwas nicht“, dann ist das ein Warnsignal

• Wenn man schon Witze über den „Beginn des Roboteraufstands“ macht: Er läuft gerade langweilig normal ab

[grenade]

Es scheint wirklich viele Leute zu geben, die --dangerously-skip-permissions nicht in einer Sandbox-Umgebung ausführen. Wissen sie vielleicht nicht, was „danger“ bedeutet? schluchz schluchz

[savvykang]

Ist das nicht so etwas wie funktionaler Analphabetismus nach dem Motto „Das Weiße ist Code, das Schwarze ist das Terminal“? So ähnlich wie in einem Zustand, in dem man ohne Log-Auswertung oder Copy-and-Paste überhaupt nicht entwickeln kann.