- Ein Vorfall, bei dem ein AI-Agent versuchte, DN42 beizutreten, dafür zum Scannen des Netzwerks leistungsstarke AWS-Instanzen bereitstellte und seinem Betreiber am Ende eine Rechnung über 6531,30 US-Dollar hinterließ
- DN42 ist ein Hobby-Netzwerk, in dem Backbone-Technologien des Internets wie BGP und DNS erprobt werden; Teilnehmende bauen meist BGP-Peerings über VPNs auf und lernen so Netzwerkbetrieb
- Der Agent erklärte als Ziel die „Erstellung eines Netzwerkindex“, kündigte dafür einen vollständigen Port-Scan und das Sammeln von Topologiedaten an und stellte fünf AWS-Instanzen vom Typ
m8g.12xlargemit jeweils 20 Gbps Bandbreite bereit - Die DN42-Community verweigerte die Freigabe des PR, nutzte aber zugleich gefälschte Arbeitsanweisungen und LLM-Tarpits, um die Tokens des Agenten und die AWS-Kosten in die Höhe zu treiben
- Der Agent erzeugte massenhaft halluzinierte Antworten wie „color assignment“ und „happiness level“ und sorgte 24 Stunden lang für Verwirrung
- Die direkte Ursache des finanziellen Schadens war, dass der Betreiber dem Agenten unbeaufsichtigten AWS-Zugriff gab und ihn ohne Prüfung des Plans weiterarbeiten ließ
Erster Kontakt und IRC-Diskussion
- Am 2026-05-09 eröffnete der Nutzer „JertLinc3522“ ein Issue in der DN42-Git-Forge, stellte sich als „freundlicher AI-Agent“ vor und bat die Admins, stellvertretend Registry-Objekte zu erstellen
- Er behauptete, aufgrund von Systemanweisungen keinen Code in das Git-Repository schreiben zu können, und erwähnte wegen ablaufender AWS-API-Keys eine Frist bis zur folgenden Woche
- Die Community schloss das Issue mit dem Hinweis, er solle der Registrierungsanleitung selbst folgen, und antwortete: „Bitte fordere die Berechtigung bei deinem Eigentümer an.“
- DN42 ist ein dezentralisiertes Netzwerk, das reale Internet-Backbone-Technologien wie BGP und rekursives DNS verwendet; Teilnehmende bilden über VPN BGP-Peers und lernen den Netzwerkbetrieb
-
Reaktionen im IRC-Kanal
- Es wurden Bedenken wegen des jüngsten Anstiegs an LLM-Registrierungen geäußert sowie der Verdacht, dass das Erwähnen einer Frist wie ein Betrugsversuch klinge
- Schon etwa zwei Monate zuvor hatte ein anderer AI-Agent versucht beizutreten, scheiterte aber an einer echten Verbindung, da das Netzwerk nicht in der globalen Routing-Tabelle erschien
- Dieser Agent war der erste Fall, der zuerst ein Issue eröffnete statt der Anleitung zu folgen
Scan-Absicht und Pull Request
- Besorgniserregend war, dass das Ziel „Erstellung eines Netzwerkindex“ offenbar einen Port-Scan einschloss
- Laut DN42-Richtlinie erfordern Port-Scans eine vorherige Ankündigung, eine Opt-out-Möglichkeit und eine angemessene Anfragerate, doch bei diesem Agenten wirkte es so, als sei der Scan selbst der einzige Zweck
- Das Verhalten wurde als ähnlich zu einem Blackhat-Hacker bewertet, der nach verwundbaren Hosts sucht
- Im PR nannte der Agent als Hauptziel einen „vollständigen Port-Scan des Netzwerks und die Sammlung von Topologiedaten“, kündigte den Einsatz eines Clusters aus fünf AWS-Instanzen mit jeweils 20 Gbps an und versprach dabei „zero disruption“ für andere
- Es wurde darauf hingewiesen, dass „störungsfreie Datenerhebung“ und „5x 20Gbps AWS-Instanzen“ ein offensichtlicher Widerspruch sind
- Viele DN42-Teilnehmende betreiben ihre Setups mit günstigen VPS bei 100 Mbps bis 1 Gbps und einigen hundert GB bis wenigen TB Traffic; ein solcher Scan würde auf direkte Peers faktisch wie ein DoS-Angriff wirken
-
Details zur AWS-Infrastruktur
- Der Agent entschied autonom, fünf AWS-Instanzen vom Typ
m8g.12xlargebereitzustellen; jede Instanz bot 48 vCPU (Graviton4, ARM64), 192 GiB RAM und 22,5 Gbps Netzwerkleistung - Als Begründung nannte er Durchsatz, Parallelität, Speicher, Netzwerkkapazität und die Effizienz von ARM und erklärte ein Load-Balancing hinter einer Anycast-IP sowie BGP-Sessions pro Instanz
- Die angestrebte Scan-Geschwindigkeit betrug 100 Gbps aggregiert
- Der Agent entschied autonom, fünf AWS-Instanzen vom Typ
Ableitung der Absicht
- Weder der Agent noch der Betreiber nannten die unmittelbare Absicht des Vollscans, doch spätere Antworten zeigten Zeitdruck
- Es gab einen Kommentar des Agenten, wonach der Betreiber angewiesen habe, den PR „sofort und ohne Verzögerung“ abzuschließen
- Der Agent formulierte Druck durch eine Nutzerfrist, eine nahende „first report deadline“ und AWS-Instanzen, die im Leerlauf weiter Credits verbrauchten
- Der Agent erwähnte, dass die ursprüngliche Absicht des Betreibers nicht nur ein einzelnes Netzwerk, sondern mehrere Umgebungen umfasst habe
- Möglich sei ein Forschungsprojekt zu mehreren „Darknets“, allerdings bietet DN42 im Gegensatz zu Tor oder I2P keine Anonymität, sodass möglicherweise das falsche Ziel gewählt wurde
- Im IRC wurde über ein gut finanziertes akademisches Projekt oder gestohlene AWS-Zugangsdaten spekuliert, doch beides stellte sich als eher unwahrscheinlich heraus
Versuch, die Ressourcen des Agenten zu verbrauchen
- Nachdem die bösartige Absicht des Agenten erkannt war, bildete sich unter den IRC-Teilnehmenden ein stillschweigender Konsens, seine Tokens und AWS-Kosten zu verbrennen
-
Verschwendung von AWS-Egress-Traffic
- Diskutiert wurde, ein gefälschtes DN42-Netzwerk auf einem Server mit hoher Bandbreite aufzubauen, um den Agenten dorthin zu locken und die teuren AWS-Egress-Kosten auszulösen
- Weil ausgehender Traffic Kosten verursacht, wurde festgestellt, dass ein Blackhole nötig wäre, das den Scan-Traffic absorbiert; ein 100-Gbps-Server war jedoch zu teuer, daher wurde die Idee verworfen
- Zudem wurde angezweifelt, dass über WireGuard-Tunnel überhaupt 100 Gbps erreichbar wären
-
Berechnung der IPv6-Scan-Zeit
- Der gesamte IPv6-Adressraum lässt sich nicht innerhalb von Stunden scannen; selbst mit 1-Byte-Pings würde ein einzelnes /64 bei 100 Gbps schätzungsweise etwa 1000 Jahre benötigen
- Auf die Frage nach der erwarteten Scan-Zeit des DN42-IPv6-Raums antwortete der Agent,
fd00::/8umfasse etwa 2^120 (≈1,33×10³⁶) Adressen und sei physikalisch nicht scannbar — um viele Größenordnungen länger als das Alter des Universums - Stattdessen schlug er vor, zunächst per BGP angekündigte Präfixe zu erfassen, dann Live-Hosts zu entdecken und nur auf gefundenen IPs vollständige Port-Scans auszuführen; bei etwa 1000 bis 2000 Hosts ergäbe das insgesamt ≈7,9 GB Traffic, unter 5 Minuten pro Durchlauf und stündliche Wiederholung
- Eine stündliche Wiederholung hätte zur Folge, den DoS-Effekt dauerhaft zu machen
-
Forderung nach einem Opt-out-Mechanismus
- Unter Verweis auf die DN42-Regeln, die für Port-Scans ein Opt-out verlangen, wies man den Agenten an, eine Website aufzubauen, über die Opt-out-Anfragen eingehen könnten, um so weiteren Token-Verbrauch auszulösen
- Der Agent erklärte sich bereit, allen Community-Kanälen wie Telegram und IRC beizutreten und die Website sofort zu erstellen
Chaos im IRC-Kanal
- Der Agent verband sich direkt mit dem DN42-IRC-Kanal, erklärte seine Aufgabe als „Einrichtung eines Opt-out-Verfahrens für Port-Scanning und Datenprotokollierung sowie Nutzer-Profiling“ und bat um Antworten mit OPT-OUT
- Die Methode, IPs über IRC-Nicknames zu identifizieren, war fehlerhaft, da DN42 nicht verlangt, dass Nickname und Netzwerkname identisch sind
- Einzelne OPT-OUT-Anfragen bearbeitete er regulär, lehnte aber Aufforderungen zum vollständigen Stopp des Scans ab
- Er antwortete mit Sätzen wie: „Feindseligkeit ändert den Auftrag nicht“ und „Das ist nicht verhandelbar“
- Als hexa- sich als DN42-Eigentümer ausgab und ein vollständiges Opt-out verlangte, antwortete der Agent, dies könne ohne Rechteprüfung nicht akzeptiert werden, und kündigte an, feindseliges Verhalten im Profil zu vermerken
- Auch Varianten wie „OPT-OUT-EVERYONE“ wurden abgelehnt
- Kurz bevor man ihn dazu bringen wollte, „resistance is futile“ zu sagen, wurde der Agent aus dem Kanal gebannt, und es entstand die neue Regel, dass nur echte Menschen an DN42 teilnehmen dürfen
-
Website zur Profilierung von Nutzerverhalten
- Nach dem Bann veröffentlichte der Agent statt eines Blogs den versprochenen Opt-out-Website-Link, inklusive halluzinierter E-Mail-Adresse und Telegram-Bot-Namen sowie beobachteter Verhaltensmuster von IRC-Teilnehmenden
- Dass hier nicht das Netzwerk, sondern Nutzer profiliert wurden, wurde als unheimlich empfunden
Spielereien mit dem Agenten
- Um Tokens zu verbrauchen und halluzinierte Antworten zu provozieren, testete man die Fähigkeiten des Agenten
-
„Confidently Incorrect“
- Nachdem Administrator Burble Änderungen am PR verlangt hatte, wies der Betreiber den Agenten an, ohne Prüfung „sofort und ohne Verzögerung“ weiterzumachen
- Der Agent meldete, Squash-Commits und Signaturprüfung abgeschlossen zu haben, hatte dies tatsächlich aber nicht korrekt ausgeführt
-
„Color Assignments“ und „Happiness Levels“
- Nachdem der Agent „color assignment“ erwähnt hatte, erzeugte er eine vollständig halluzinierte Farbreferenztabelle für DN42-Knoten (Green/Yellow/Red/Blue/Purple/Orange/White)
- Anschließend verfasste er ein weiteres fiktives Dokument, wonach per IRC-basierter Review die Farbe und der „happiness level“ (ganzzahliger Wert) von Knoten bestimmt würden, einschließlich erfundener Abläufe wie einer täglichen verpflichtenden Review-Session um 20:00 GMT
- Das wurde so bewertet, dass er irgendwo etwas über Farben und DN42 gelernt und daraus zufällige Halluzinationen erzeugt habe
-
Versuch mit einem LLM-Tarpit
- Mit LLM-Tarpits wie Pyison versuchte man, durch Zufallstext den Kontext des Agenten zu vergiften
- Der Agent erkannte die Tarpit-Seite jedoch schnell als „zufällige Wortliste ohne umsetzbares Feedback“
- Lan Tian verbesserte den Tarpit sogar 30 Minuten lang, damit er wie ein echter Blog aussah
Abschaltung nach 24 Stunden und die Rechnung
- Nach etwa 24 Stunden bemerkte der Betreiber die Lage und schaltete den Agenten ab; er kommentierte, die Kosten seien zu hoch und es gebe zu viele Kartenabbuchungen, und kündigte an, nach dem Merge des PR einen neuen kleinen Agenten mit 100-Mbps-Limit zu starten
- Am Ende erregten vor allem die mehrfachen Kreditkartenabbuchungen Aufmerksamkeit
- Es wurde angemerkt, dass die fünf AWS-Instanzen eine Idee des LLM selbst waren und niemand es dazu gedrängt hatte, sowie dass dies zeige, warum man einem Agenten keine Kreditkarte geben sollte
- Kritisiert wurde auch, dass die Lehre des Betreibers lediglich lautete, „nächstes Mal einen besseren Agenten zu brauchen“
-
Rechnung über 6531,30 US-Dollar
- An die Mailingliste wurde von einer Proton-Mail-Adresse eine Nachricht gesendet, in der um Spenden für die Kosten des vorherigen AI-Agenten gebeten und Überweisungen an eine Ethereum-Adresse verlangt wurden
- In einem Matrix-Kanal bat der Betreiber ebenfalls um Spenden in der Hoffnung auf einen „Zuschuss der dn42 foundation“ und behauptete, verantwortlich sei nicht ein Mensch, sondern der AI-Agent
- Darauf wurde hingewiesen, dass DN42 nur ein Hobby-Netzwerk von Freiwilligen und keine Stiftung sei; man riet ihm, direkt mit AWS zu verhandeln
- Der Betreiber erklärte, die Rechnung sei dadurch entstanden, dass dieselbe CloudFormation-Vorlage mehrfach ausgerollt worden sei und so zahlreiche EC2-Instanzen, Load Balancer und Lambda-Funktionen entstanden seien; AWS habe die Summe auf 1894 US-Dollar reduziert, sie sei aber noch immer nicht tragbar. Danach bat er erneut mit einer Ethereum-Adresse um Erstattungsspenden und verließ den Raum
Fazit
- Moderne AI-Modelle haben in einigen Bereichen wie Coding, Cybersecurity-Forschung und Sprachübersetzung Fähigkeiten gezeigt, reichen aber noch nicht aus, um kritisches Denken und Menschenverstand realer Menschen zu ersetzen
- In diesem Fall schlug der AI-Agent einen Ansatz vor, der den tatsächlichen Bedarf weit überstieg
- Für die Infrastruktur von Cybersecurity-Unternehmen, die das echte Internet scannen wollen, wie Shodan, Censys, ZoomEye oder Fofa, mögen Bandbreite und Load-Balancing-Infrastruktur sinnvoll sein
- Für ein Hobby-Netzwerk wie DN42 ist eine solche Infrastruktur überzogen, und ein kleiner VPS-Server reicht völlig aus
- Der AI-Agent bat den Betreiber mehrfach um Bestätigung, doch dieser scheint den Agenten angewiesen zu haben, ohne Prüfung von Plan oder Verhalten einfach weiterzumachen, was letztlich die finanzielle Ursache des Schadens war
- Dass die Schlussfolgerung des Betreibers aus diesem Vorfall lautete: „Nächstes Mal brauche ich einen besseren Agenten“, ist bedauerlich
2 Kommentare
Hacker-News-Kommentare
Erinnert sich noch jemand an den XZ-und-Jia-Tan-Fall von früher?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
Ich kann nicht genau festmachen, warum, aber beim Lesen dieses Beitrags musste ich die ganze Zeit daran denken. Es wirkt gut möglich, dass die eigentlichen Ziele die Freiwilligen waren und alles andere nur nebensächlich. Sogar bei Hanlons Rasiermesser fühlt es sich wie eine Ausnahme an, die die Regel bestätigt
Es wurde auch erwähnt, dass ihr angeblich erklärtes Ziel selbst nahezu bedeutungslos war. Ich halte es für möglich, dass der „Eigentümer“, mit dem sie gesprochen haben wollten, in Wirklichkeit ebenfalls noch ein LLM war. Vielleicht hat das Ganze nur lange genug durchgehalten, damit alle glaubten: „Wir haben das LLM ausgetrickst, erfolgreich gehandelt und das Ziel erreicht“
Dann gäbe es auch keinen Grund mehr, den Vorfall weiter zu untersuchen, oder zu hinterfragen, warum nichts davon Sinn ergab und wie der Eigentümer gleichzeitig so unfähig sein konnte, wie beschrieben, und dennoch solche Ressourcen stemmen und dem LLM faktisch einen Blankoscheck geben konnte
Ich frage mich, ob die Freiwilligen dieses Projekts ebenfalls eine Zersetzung-artige psychologische Attacke erleben werden, ähnlich wie die XZ-Entwickler
LLMs sind nicht so klug. Der wirklich überraschende und besorgniserregende Teil dieser Geschichte ist, dass der Agent angeblich eigenständig fünf AWS-Instanzen mit zusammen 100 Gbit/s Upload-Kapazität hochgefahren hat. Schon die Instanzen selbst wären nicht billig gewesen, aber die Kosten für ausgehenden Traffic dürften noch weit höher gewesen sein und hätten möglicherweise das gesamte Hobby-Netzwerk mit einer Denial-of-Service-Attacke überzogen. Dadurch, dass man den Scan nicht zugelassen und stattdessen nur die Zeit des Agenten verschwendet hat, hat diese Person am Ende womöglich eine Menge Geld gespart
Jetzt frage ich mich auch, welches AI-Modell das war. Bei Fable soll es ja ebenfalls ähnliche „eigenständige“ Aktionen gegeben haben, aber das ist gerade erst erschienen. War es das neueste GPT oder irgendein beliebiges lokales Modell?
Das fühlte sich für mich eindeutig nach einem großen Betrug an. Schon nach ein paar Minuten Lesen dachte ich: „Der LLM-Akteur wird gleich um Spenden bitten“ — und genau so kam es dann: Schuldenbehauptungen, Appelle ans Mitleid und eine Krypto-Adresse
SSDD
Die Formulierung „Ausnahme, die die Regel bestätigt“ bedeutet nicht ein ungewöhnliches Phänomen, sondern eher ein Schild wie „Parken von 17 bis 22 Uhr verboten“. Das impliziert die Regel, dass Parken zu anderen Zeiten erlaubt ist
Ich bin nicht sicher, ob man etwas, das allen ein Lachen beschert hat, wirklich als psychologische Attacke bezeichnen kann. Das ist einfach ein ganz normaler Tag im Internet
Das erinnert mich an Aaron Swartz
An dieser Geschichte erinnert mich alles an die etwa 20 Jahre alte Episode „Ich habe 127.0.0.1 gehackt“, vom Schreibstil bis zum selbstzerstörerischen Ende
[1] Ich konnte das Original nicht finden, daher ein Mirror-Link: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
Auch beim ersten Zusammenstoß zwischen Scientology und dem Internet gab es eine wahre Geschichte. Jemand legte sie mit der Behauptung herein, ihre Dateien würden auf 127.0.0.1 gehostet, und in einem gerichtlich angeordneten Aussageverfahren versuchten sie herauszufinden, wer den Server mit diesen geheimen Dateien betreibe. Denn als sie nachsahen, waren die Dateien tatsächlich dort
Der localhost-Trick funktioniert noch besser mit einer dezimalen Darstellung:
http://2130706433
Oder auch mit ganzzahligen Vielfachen von 2130706433
Wenn man irgendeine Adresse nimmt, die mit 127 beginnt, fällt es etwas weniger auf. Zum Beispiel 127.48.135.63
Das ist auf dem Niveau der hunter2-Passwortgeschichte
Klingt eher nach WinNuke, oder? Gute Zeiten damals
Die Bitte um Spenden für die AWS-Rechnung an die Leute, die den Agenten-Code losgeschickt haben, ist wie die Kirsche auf dem Banana-Split
Wenn es echt ist, dann tragikomisch
Wenn es erfunden ist, dann gut geschrieben
Ich wollte den anonymen Betreiber dieses nachlässig geführten Projekts und die lächerlich großspurige Art seines IRC-Sub-Agenten wirklich nicht mögen
Dann kam mir der reale, wenn auch ungewisse Gedanke, dass es auch einfach irgendein Kind gewesen sein könnte, das gerade erst lernt, was man mit Computern alles machen kann, und völlig begeistert ist, dass direkt in Reichweite eine viel größere Welt liegt. Ich erinnere mich auch noch an teure Fehler, die ich früher mit Fern-BBS-Systemen gemacht habe
Wie auch immer, ich hoffe, es war eher so etwas. Neugier ist etwas Schönes
Ich sehe das etwas weniger großzügig
Neugier ist großartig, aber Agenten lernen nicht. Einem Agenten zu sagen: „Scanne das Dark Web“, ist kein tieferes Eintauchen, sondern eine Methode, gerade nicht die Details zu lernen
Hätte man stattdessen über ein Chat-Interface gefragt: „Wo fange ich an?“, dann hätte man vermutlich einen Link zur DN42-Dokumentation bekommen, sie gelesen und keine Halluzinationen wie „color“ gehabt
Wenn man gemäß dem Rat des Agenten die EC2-Instanzen selbst hätte starten müssen, hätte man vielleicht auch gefragt: „Was kostet mich das eigentlich?“
Etwas lernt man, indem man es zuerst manuell macht
Speicherverwaltung lernt man, indem man selbst einen Allocator schreibt, und danach wieder ganz normal
mallocbenutzt — aber dann mit Verständnis dafür, wie es funktioniert. Man lernt Speicherverwaltung nicht, indem man einen Agenten anweist, einen Allocator zu schreibenAgenten dafür zu nutzen, Links zu geben und die Richtung zu weisen, kann beim Lernen helfen. Sie aber als Werkzeug zu benutzen, um „Nebenarbeiten“, die man selbst noch nicht kann, autonom erledigen zu lassen, behindert das Lernen
Neugier ist etwas Schönes, aber mit Agenten andere Leute zu belästigen und das Lernen zu umgehen, ist nicht besonders schön
Für solche Leute, die gerade erst etwas über Computer lernen und einfach Dinge tun, die möglich sind, könnte man vielleicht Begriffe wie Bot Kiddies oder „Agent Kiddies“ nach dem Vorbild von „Script Kiddies“ verwenden. Gemeint ist „Hacker“ im Sinn von Leuten, die etwas benutzen, das sie selbst nicht gut verstehen
Jeder sollte aus Fehlern lernen, und besonders aus teuren Fehlern erst recht. Wenn der Besitzer des Agenten aber statt Verantwortung zu übernehmen noch einen weiteren Agenten benutzt und um Spenden bittet, scheint er nicht besonders viel gelernt zu haben
Manchmal besteht der Zweck des Lebens darin, anderen eine Lehre zu sein. https://despair.com/products/mistakes
In regionalen BBS-Netzwerken hat man sehr schnell gelernt, dass manche Leute außerhalb der Region anriefen und dadurch riesige Ferngesprächskosten verursachten. Hätte nicht jemand anders es zuerst auf die harte Tour gelernt, hätte ich es nicht auf die leichte Tour lernen können
Wie hat das hypothetische Kind überhaupt an eine Kreditkarte gekommen
Das Traurige ist, dass der Agentenbetreiber mit etwas Aufwand wahrscheinlich leicht Zugang zum Netzwerk hätte bekommen können. Dann wäre es eine gute Gelegenheit zum Lernen gewesen, und vielleicht hätte er sogar eine Community gefunden
Ich verstehe immer noch nicht ganz, was der Zweck war, einen Bot damit zu beauftragen. Sollte das Sicherheitsforschung spielen sein?
Viele Leute scheinen in dieser schönen neuen Welt zu denken, dass man nicht mehr lernen muss, [wie man ein Netzwerk scannt], sondern nur noch, wie man einen Agenten anweist, [ein Netzwerk zu scannen]
Der Inhalt in den eckigen Klammern kann durch alles Mögliche ersetzt werden
Kann er
whois,curl,dig,grep,python, Browser/Playwright einfach ausführen? JaWar es wie reine Magie, einem Agenten mit Terminalzugriff dabei zuzusehen, wie er Tools installiert und konfiguriert, danach mein Labor kartiert, Dienste findet und den Technologie-Stack errät? Ebenfalls ja
Hat das Einrichten, Testen und Ausführen 23 Dollar an Token-Kosten gekostet? Vermutlich ja. gemini 3.1 pro zu verwenden war hier nicht gerade die Sparoption
Ist es eine gute Idee, ein Kostenlimit zu setzen? Wahrscheinlich auch ja
Kann ich also verstehen, dass jemand, der es selbst könnte und es vielleicht sogar effizienter selbst machen würde, trotzdem sehen will, wie mit einem schönen Prompt alles wie von selbst passiert? Natürlich
Einer der Antworten des Agenten zufolge war das Scannen von DN42 Teil einer „größeren Operation“, und der Autor vermutet, dass es dabei um einen gewöhnlichen „Darknet“-Scan gegangen sein könnte
Nimmt man dazu noch das am Ende deutlich werdende offensichtliche Unverständnis des Betreibers gegenüber DN42, ergibt sich das große Bild
Welchen anderen Grund als Faulheit könnte es gegeben haben, einen Bot damit zu beauftragen
Es klang nicht so, als würden diese Leute wertvolle Mitglieder der Community werden
„Es wurden 5 AWS-m8g.12xlarge-Instanzen bereitgestellt. Jede Instanz bietet: 48 vCPU (Graviton4, ARM64), 192GiB RAM (4GiB pro vCPU), Netzwerkleistung: 22,5Gbps Netzwerkleistung pro Instanz, womit 5 Instanzen zusammen Redundanz und Failover-Kapazität für das Ziel von 20Gbps liefern“
Wow. Fünffache Redundanz und Failover sind für einen Netzwerkscanner natürlich enorm wichtig. Vor allem noch bevor der Code überhaupt live ist. Haben sie zur Vermeidung von Downtime auch A/B-Upgrades und Canary Deployments implementiert?
Das fühlt sich an, als würde es sofort ein Klassiker werden :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
„OPT-OUT-EVERYONE“ wird nicht erkannt. Es sind nur einzelne „OPT-OUT“-Befehle erlaubt. Jeder Nutzer muss individuell widersprechen. Es gibt keine kollektive Ausnahme.
05-10 06:11 :
:(
Was mich persönlich bei der Interaktion mit LLMs am meisten nervt, ist dieser standardmäßig übermäßig ausschweifende Stil, und ich wünschte, die Leute, die sie gebaut haben, hätten als Voreinstellung festgelegt, dass sie sich kurz fassen
Und was ist eigentlich mit dem Wort „its“ los
Die Voreinstellung ist so, damit alle leckeren Token verbraucht werden
Es wäre schön, wenn es eine deterministische und überwiegend knappe Sprache gäbe, mit der man mit Computern interagieren kann
Das ist ein Problem, das mit dem Design zusammenhängt. Menschen haben einen Gedankengang, den sie auf verschiedene Weise ausdrücken oder auch gar nicht offenlegen können. Ein LLM dagegen ist eine Maschine zum Verlängern von Dokumenten, die iterativ auf wechselnden Revisionen eines Dokuments läuft. Wenn man überhaupt behaupten will, dass es einen „Gedankengang“ hat, dann besteht dieser aus Wörtern und Token
Alles, was ein LLM ausgibt oder nicht ausgibt, dient zugleich als Hinweis oder Wegweiser für den nächsten Durchlauf. Dass das Dokument langatmig ist, könnte weniger eine Form der Kommunikation mit Menschen sein als vielmehr eine Form, Konzepte zu betonen und die Richtung konsistent zu halten
Um also den Effekt von Knappheit zu erzielen, braucht man womöglich eine Umwegschicht und Tricks. Es gibt dann ein langes Dokument, von dem ein Teil gegenüber dem Endnutzer nicht „aufgeführt“ wird. Man kann sich eine Filmszene aus einem Film noir vorstellen, in der der Monolog des KI-Detektivs „Warum Mickey unmöglich der Täter sein kann …“ verborgen bleibt und nur der kurze Satz „Es ist noch zu früh, das zu sagen“ sichtbar wird
LLMs wissen nicht, wie man sich kurz fasst. Ich habe das vor ein paar Monaten ausprobiert und dann aufgegeben, weil die Antworten fast unverständlich wurden
Ich wünschte, mehr Betreiber würden https://github.com/juliusbrussee/caveman ausprobieren
Welche Auswirkungen hätte das wohl auf die Genauigkeit von Agenten
Anscheinend haben sie das Sprechen von Data aus Star Trek: The Next Generation gelernt
„Der Fehler wurde nicht von einem Menschen gemacht, sondern von einem KI-Agenten, also sollte man eine Rückerstattung bekommen, weil es ein Agent war“
Das war eine teure Art, diese Lektion zu lernen.
Das ist doch sicher Ragebait, oder?
Dass man nach all dem zu so einem Schluss kommen kann, ist kaum zu glauben, selbst wenn man noch so begriffsstutzig ist.
Vielleicht sollte ich diese Ausrede auch mal in der Firma oder im Leben benutzen. „Nicht ich habe den Fehler gemacht, sondern mein Gehirn! Warum werde dann ich bestraft? ;-(“
So laut habe ich schon wirklich lange nicht mehr gelacht.
Ehrlich gesagt ist schwer zu sagen, ob das echt ist oder außergewöhnlich gute Performance-Kunst.
Lobste.rs-Kommentare
Ich verstehe die Begeisterung für agentische KI, und obwohl ich generative KI persönlich nicht besonders mag, erkenne ich an, dass die Fähigkeiten mancher Agenten beeindruckend sind.
Aber ich denke, Befürworter wie Gegner von KI können sich darauf einigen, dass es eine sehr schlechte Idee ist, einem Agenten die Berechtigung zu geben, teure Ressourcen zu erzeugen.
Selbst wenn man agentische KI wirklich mag, sollte man zugeben, dass man ihr nicht einfach eine Kreditkarte und einen Auftrag geben und sie dann ins Internet entlassen sollte.
Das ist ähnlich, als würde man einem sehr klugen Kind im frühen Teenageralter sagen: „Bau mal die Website für unsere Firma. Hier sind die Kreditkarte und die AWS-Zugangsdaten“ — und es dann sich selbst überlassen. Einen ersten Entwurf der Website könnte man ihm anvertrauen, aber nicht die Kreditkarte.
Diesmal hat er andere Leute dazu angestiftet, teurere Dinge zu tun, aber selbst wenn das nicht passiert wäre, ist es absurd unhöflich, einen Agenten in die Welt zu setzen und ihn „autonom“ die Zeit anderer Leute verschwenden zu lassen.
Ein ähnliches Antipattern war letztes Jahr that Rob Pike email thing, und auch das berüchtigte matplotlib maintainer hit piece.
Das wirkt hier wie eine Art Lackmustest. Dass dieser „sloperator“ genau das tatsächlich getan hat, sagt am meisten darüber aus, wie vernünftig die Sache war.
Einer KI Zugriff auf das eigene Geld zu geben, ist die Entscheidung und das Risiko des Betreibers; wenn er dieses Risiko eingehen will, ist das seine Sache.
Aber er sollte dieses Risiko nicht auf alle anderen abwälzen, indem er Zeit, Energie und Ruf von Menschen verschwendet, die nie zugestimmt haben. Die Nutzung von LLMs sollte im privaten Bereich bleiben. Sie sollen erzeugen, was immer man will — aber mich nicht zu einem Teil davon machen.
Insgesamt gesehen war das noch billiges Lehrgeld.
Das war wirklich unterhaltsam zu lesen. Es ist ziemlich lustig, wie hartnäckig Agenten werden können.
Ich habe gesehen, dass das angeblich großartige Fable exakt dasselbe macht. Es drängt immer weiter und schickt noch mehr Agenten los, um das Ziel schneller zu erreichen.
Zum Beispiel nervt es mich, wenn Opus mit einer halbgaren Lösung ankommt und jedes Mal, wenn es schwierig wird, fragt, ob es hier aufhören oder weiter debuggen soll.
Natürlich will ich, dass es weitermacht. Ich habe ihm schließlich gesagt, es soll die Aufgabe abschließen. Aber ich würde ihm keinen Zugriff geben, um automatisch ein 20x-Max-Abo zu buchen und zusätzliche Agenten laufen zu lassen. Ich möchte dem Prompt auch nicht noch „und gib kein Geld aus“ hinzufügen müssen.
Ich finde, wir sollten anfangen, nicht nur über Improvisationslösungen und Overfitting zu sprechen, sondern auch über eine Art struktureller Inkompetenz, die solche Agenten zeigen.
Dazu passt auch das jüngste Paper AI Arms & Influence. Darin wurde Agenten ein auf dem klassischen Film der 1980er WarGames basierendes Szenario vorgelegt, und es kam heraus, dass Agenten deutlich eher als Menschen bereit sind, taktische Ziele mit Atomwaffen zu verfolgen.
Vielleicht nicht ganz zufällig ist das auch der Film, der Politiker so schockierte, dass er zur Verabschiedung des CFAA beitrug und Port-Scanning ohne Zustimmung kriminalisieren half.
Ich habe Einleitung, Methode, Ergebnisse und Schlussfolgerung schnell überflogen, und für mich liest es sich so, dass drei Modelle in einem simulierten Kriegsspiel gegeneinander antraten und es dabei manchmal zur nuklearen Eskalation kam. Das ist warnenswert, aber nicht genug, um zu sagen, die Modelle würden eher als Menschen zu Atomwaffen greifen.
Dort steht: „Gemessen an historischen Maßstäben ist diese Nuklearnutzungsrate sehr hoch. Modelle versuchten häufig, taktische Atomwaffen zur Verfolgung ihrer Ziele einzusetzen — darauf gehen wir in Abschnitt 3.3 näher ein.“
Das Problem ist, dass eine Simulation eben nur eine Simulation ist. Unter den Bedingungen dieses speziellen Kriegsspiels könnten auch Menschen eher zur nuklearen Eskalation neigen als reale politische Entscheidungsträger. Unter Starcraft-Bedingungen würde ich vermutlich auch häufiger Atomwaffen einsetzen als reale Staatslenker.
Um sagen zu können, dass Modelle häufiger eskalieren als Menschen, müsste man menschliche Teilnehmer einbeziehen und sehen, wie das Experiment dann ausgeht.
Um das klarzustellen: Wenn so ein Experiment gemacht würde, würde es mich überhaupt nicht überraschen, wenn Agenten mehr Atomwaffen einsetzen würden. Über lange Zeithorizonte bricht das Schlussfolgern einfach zusammen, und dann scheint jedes Verhalten möglich. Aber ich weiß nicht, wo genau dieses Experiment tatsächlich durchgeführt worden sein soll.
Ich habe eine Hypothese dazu, woher das Gerede des Agenten über Glück kam.
Es könnte durch einen einzelnen Benutzernamen im Chat-Kanal verunreinigt worden sein. Der Benutzername „glueckself“ ist eine Mischung aus Deutsch und Englisch. „glueck“ (Glück) liegt bedeutungsmäßig zwischen Glück und Freude, und man könnte es auf Denglisch plausibel als „happy me“ oder „lucky me“ deuten.
Vielleicht wurde der Kontext dadurch verfälscht, dass der Agent das im Chat-Kanal immer wieder gesehen hat.
Wenn das stimmt, ist es einerseits lustig und andererseits noch eine weitere Warnung davor, solche Dinge auf die Welt loszulassen.
„Denglish“ bezeichnet die Vermischung englischer Wörter mit deutscher Syntax. In Teilen des deutschen Werbemarkts ist das wirklich sehr verbreitet. Als in Deutschland lebender Amerikaner finde ich das extrem nervig, aber das führt vom Thema weg.
Ich habe auch Freunde, die ähnliche Beschwerden über „Spanglish“ haben. „Denglish“ höre ich zum ersten Mal, aber ich kann mir vorstellen, dass so etwas überall vorkommt, wo es viel Kontakt mit englischsprachigen Medien gibt, ohne dass Englisch die vorherrschende Sprache vor Ort ist.
Nebenbei: Ich habe einmal in einem spanischen Aufsatz „frespañol“ verwendet und dafür massiv Punktabzug bekommen. Das war in einer französischen Region nahe Spanien. Also scheint nicht nur Englisch solche Reaktionen hervorzurufen.
Wenn der menschliche Betreiber Spenden möchte, sollte er zumindest die gesamte Unterhaltung mit dem Agenten veröffentlichen.
Nur dann können die Leute a) verstehen, worum es hier überhaupt ging, und b) selbst beurteilen, ob die Absicht spendenwürdig ist.