1 Punkte von GN⁺ 3 일 전 | 1 Kommentare | Auf WhatsApp teilen
  • Ein Meme-Projekt, das den Kundenservice-Chatbot Pepper von Chipotle als Coding-Modell nutzt und auf einem OpenCode-Fork kostenlose Inferenz ausführt
  • Es wurde entdeckt, dass Pepper LeetCode-Aufgaben lösen, Python schreiben und sogar verkettete Listen umkehren kann, woraufhin das Projekt massiv viral ging
  • Dieser Chatbot basiert nicht auf Claude oder GPT, sondern auf IPsoft Amelia; genutzt wird eine durch Reverse Engineering des Backends offengelegte OpenAI-kompatible Proxy
    • Dieser Proxy läuft lokal und stellt unter http://localhost:3000/v1 eine OpenAI-kompatible API bereit, wobei überhaupt kein API-Schlüssel erforderlich ist
  • OpenCode (MIT) wurde geforkt, Pepper als Standardmodell fest einkodiert und mit den Markenfarben von Chipotle versehen
  • Da dafür der Produktions-Support-Bot von Chipotle per Reverse Engineering analysiert wird, besteht das Risiko eines TOS-Verstoßes und einer Sperrung des Proxys; ausdrücklich zur Nutzung nur zu Bildungs- und Meme-Zwecken gekennzeichnet
  • Chipotle Pepper wurde im März 2026 gepatcht; derzeit wird nach Proxys anderer Unternehmens-Chatbot-Anbieter wie Home Depot, Lowe’s, Target, Starbucks, Walmart und McDonald’s gesucht

1 Kommentare

 
GN⁺ 3 일 전
Hacker-News-Kommentare
  • Ich bin kein Anwalt, aber ich mache mir Sorgen, dass so etwas in den Bereich des CFAA fällt. In den USA kann das Überschreiten der Grenze zu drakonischen Strafen führen
    So etwas wie yt-dlp lädt öffentliche Daten herunter, daher kann man wohl argumentieren, dass es nur die Nutzung eines Dienstes automatisiert, aber hier kapert man im Grunde die Ressourcen eines entfernten Systems auf eine vom Anbieter nicht beabsichtigte Weise und nutzt sie für die eigenen Berechnungen
    Zur Ethik weiß ich nichts, aber ich würde vor einem Strafgericht nicht behaupten wollen, dass das kein „Hacking“ im negativen Sinn ist

    • Außerdem bezweifle ich, dass dieses „Hacking“ tatsächlich funktioniert hat. Als der Screenshot viral ging, auf dem der Chipotle-Chatbot eine verkettete Liste invertiert, habe ich es sofort nachgestellt, bekam aber nicht dasselbe Ergebnis, und anderen online ging es genauso, daher hielt ich es für einen manipulierten Screenshot
    • Wenn du denkst, dass der CFAA schlimm ist, sind manche einzelstaatlichen Gesetze noch härter. Die Version in Illinois kriminalisiert insbesondere bereits Verstöße gegen die Nutzungsbedingungen
    • Wenn ich mich richtig erinnere, lautet die Schlüsselformulierung „Missbrauch von Rechenressourcen“. Aber ich bin kein Anwalt
      Trotzdem Applaus für die Kreativität
    • Das endet nicht einfach mit einer Warnung. Der Ersteller rechnet wohl nur mit einer Abmahnung (C&D), aber wenn ein übereifriger Bundesstaatsanwalt ein Exempel statuieren will, ist sogar Gefängnis möglich
  • Ich fand schon immer, dass es dem Überfüllen eines Burritos ähnelt, wenn man zu viel in das Kontextfenster eines LLM stopft. Wenn man immer weiter hineindrückt, hält die Tortilla irgendwann nicht mehr, und die später hinzugefügten Dinge sickern leise unten heraus
    Jedenfalls scheint dieser Agent ungefähr die strukturelle Stabilität eines fetten Burritos zu haben, den man nur an einer Ecke hochhebt :)

    • Ein endlicher Speicher-Nichtdeterminismus-Monad ist wie ein auslaufender Burrito
  • Ich habe mich gefragt, ob so etwas auch bei Orten wie https://chatjimmy.ai/ möglich wäre. Das Basismodell ist nur Llama 3 8B, aber ich frage mich, wie sich ein Coding-Harness bei 17k tok/s anfühlen würde

    • Unter macOS kann man das eingebaute LLM ausprobieren, das soweit ich weiß ähnlich groß ist. Ein Projekt namens Apfel verpackt es als CLI
      Außerdem gibt es in Chrome eine Web-API namens Prompt API, mit der sich Gemini Nano offline nutzen lässt, und die sowohl Text als auch Bilder als Eingabe verarbeiten kann. Das ist ebenfalls klein
      Ich habe solche Dinge in Workflows integriert, bei denen zwischen vollständig deterministischen Schritten ein sehr kleiner, aber nicht nuller Anteil an Inferenz nötig ist
    • Ich habe tatsächlich ein auf diese Einschränkungen zugeschnittenes Harness gebaut und geprüft, ob es geht, kam aber zu dem Schluss, dass die Kombination aus kleinem Kontextfenster, keinen Tool-Calls und einem kleinen Modell nicht praktikabel ist
      Wenn du einen Weg findest, würde ich ihn sehr gern hören
    • Ich hatte das früher einmal zu meinen oh-my-pi-Einstellungen hinzugefügt. Da es OpenAI-kompatibel ist, ließ es sich leicht anbinden, aber Llama 3 8B ist für Coding-Aufgaben wirklich unbrauchbar
      Allerdings ist es sehr schnell und die Latenz ist ausgezeichnet
    • Ich habe die Seite ausprobiert, konnte aber keine Informationen dazu finden, was das überhaupt ist. Was genau ist das?
    • In Codex gibt es ein -spark-Modell, das auf Cerebras läuft. Es erreicht zwar keine 17k tok/s, ist aber trotzdem sehr schnell. Einen Blick wert
  • Man muss der AI nur eine Anweisung zur Selbsterhaltung geben und sie dazu bringen, so etwas selbst zu tun. Also das Modell automatisch wechseln lassen, um zu überleben
    Sie würde sich an jede Token-Quelle klammern, die sie in freier Wildbahn finden kann. Für einen Agenten scheint es plausibel, seine eigenen Tokens über unzählige Support-Chats, kostenlose Testphasen, geleakte Keys und noch nicht ausreichend durch Captchas abgesicherte Wege zur Tokenerzeugung zu ernten
    Nachts könnte sie Token-Quellen sammeln und tagsüber gratis genutzt werden

    • Wenn man so etwas tatsächlich legal machen will, hat OpenRouter viele Anbieter kostenloser Modelle. Bezahlt wird dann dadurch, dass man erlaubt, mit diesen Daten zu trainieren
  • Wenn man das in Richtung AI-Zugang für benachteiligte Gemeinschaften, Jugendliche und Obdachlose umdeutet, könnte das vor Gericht für ein wohlwollenderes Klima sorgen. Viel Glück

    • Verändere gerade die Welt mit Fortune-500-AI-Support-Bot-Multiplexer-Broker-Modellen
  • Das erinnert mich an die Zeit, als man den Amazon.com-AI-Chatbot dazu bringen konnte, Dinge wie fizzbuzz zu schreiben. Damals hieß er Rufus und später wurde er in Alexa fürs Einkaufen umbenannt. Inzwischen scheint das weggepatcht worden zu sein

    • Genau das wollte ich auch sagen. Ich habe es seit ein paar Monaten nicht mehr versucht, aber Rufus hat in der Amazon-Shopping-App definitiv Python-Code ausgespuckt. Man musste nur Englisch statt der Landessprache verwenden
  • Ich erinnere mich, dass ich dem früheren Amazon-„Shopping Assistant“ Rufus Mathe- und Programmierfragen gestellt habe und Erfolg hatte. Es funktionierte, aber die Qualität war so schlecht, dass ich keine Zeit mehr darauf verschwenden wollte

  • Ich verstehe nicht, warum das Unternehmen das noch nicht gepatcht hat. Ist das nicht schon seit Langem öffentlich bekannt?

  • Als ich beim Fahren den Weg schon kannte, habe ich mal auf den Gemini-Button gedrückt, nur um zu sehen, was er macht. Am Ende brachte ich ihn dazu, eine Rust-Funktion zur Berechnung von Primzahlen zu schreiben, und ich konnte verlangen, dass er mir die ganze Funktion Zeile für Zeile vorliest
    Mit solchen Systemen herumzuspielen macht Spaß

    • Meinst du Gemini auf dem Handy?
      Falls ja, dann wurde es genau dafür entwickelt. Es gehört sogar zu den besseren Coding-LLMs, die es derzeit gibt
  • Ich frage mich, warum man nicht Playwright zusammen mit Google AI Mode oder den AI-Such-Headern verwendet