Codebuff: Ein CLI-Tool, das Code im Terminal schreibt

Codebuff ist ein CLI-Tool, das die Codebase liest und Dateien ändern oder erstellen kann, wenn man im Terminal Aufgaben in natürlicher Sprache eingibt. Nach der Installation mit npm i -g codebuff ist es ohne Login-Gate sofort nutzbar
Es reduziert den Eingabefluss auf einen Schritt: Nutzer geben nur die gewünschte Aufgabe ein, und Codebuff nutzt dabei u. a. Testläufe, Type-Checker und Paketinstallationen zur Umsetzung der Anfrage
Intern erstellt es mit tree-sitter eine Codebase-Map, indem es Symbole wie Funktions- und Klassennamen in 11 Sprachen parst, und kombiniert Prompt-Caching mit Claude Haiku 3.5 sowie Aufrufe von Claude/OpenAI
Der Agent legt relevante Dateien in den Kontext und verarbeitet anschließend Tool-Aufrufe in Form von XML-Tags, etwa edit_file, Terminalbefehle und Anfragen zum Lesen weiterer Dateien
Alle Accounts erhalten Credits im Wert von bis zu 20 US-Dollar; mehr Credits gibt es im monatlichen 99-US-Dollar-Plan. Wegen großer Kontexte und teurer LLM-Aufrufe sei Codebuff jedoch teurer als Konkurrenzprodukte

Codeänderungen per natürlicher Sprache im Terminal

Codebuff ist ein CLI-Tool, das wie ein „Cursor Composer im Terminal“ funktioniert
- Man gibt die gewünschte Änderung in natürlicher Sprache ein und drückt Enter; anschließend analysiert es die Codebase und ändert Dateien
- Sowohl das Ändern bestehender Quelldateien als auch das Erstellen neuer Dateien ist möglich
- Es kann Tests, Type-Checker und Paketinstallationen ausführen, um die Anfrage abzuschließen
Installation und Start erfolgen mit npm i -g codebuff
- Ohne Login-Gate sofort nutzbar
- Alle Accounts erhalten Credits im Wert von bis zu 20 US-Dollar
Demovideo: YouTube

Die ursprüngliche Idee entstand bei einem Hackathon beim Testen von Sonnet 3.5
- Das erste Skript holte den Codebase-Kontext auf einmal, in einem zweiten Schritt wurden Dateien neu geschrieben
- Dieser zweistufige Prozess ist auch heute noch in Codebuff vorhanden
- Die frühe Demo erzeugte keinen nützlichen Code
Beim Übergeben von Codebase-spezifischem Wissen an das Modell entstand die Idee zu knowledge.md
- Um auf dem Server des vorherigen Startups einen Endpoint anzulegen, mussten drei bestimmte Dateien geändert werden, was das Modell jedoch nicht wusste
- Nachdem eine Codebase-Anleitung wie für einen neuen Mitarbeiter als Markdown-Datei geschrieben und in den System-Prompt von Sonnet 3.5 eingefügt wurde, verbesserte sich die Codequalität deutlich
- Codebuff nutzt weiterhin eine Datei knowledge.md, die bei jeder Anfrage automatisch gelesen wird
Kurz vor dem YC-Interview war die Zuverlässigkeit der Dateibearbeitung der größte Engpass
- Mit mehreren Prompt-Strategien wurde versucht, Strings in der Originaldatei zu ersetzen, doch das funktionierte nicht zuverlässig
- Am Tag vor dem Interview wurde GPT-4o fine-getuned, um von Claude skizzierte Änderungen in einen Git-Patch umzuwandeln
- Am nächsten Tag funktionierte es und wurde kurz vor dem YC-Interview in Produktion ausgerollt

Beim Start durchsucht es Quelldateien im aktuellen Verzeichnis und in Unterverzeichnissen und erstellt eine Codebase-Map
- Mit tree-sitter werden Funktions- und Klassennamen oder entsprechende Symbole in 11 Sprachen geparst
- Dateibaum und Symbolinformationen werden gemeinsam verwendet
- Eine Anfrage an Claude Haiku 3.5 cached den Codebase-Kontext und senkt die Antwortlatenz auf Nutzereingaben
Wenn der Nutzer eine Nachricht sendet, wählt Claude zuerst relevante Dateien aus
- Die ausgewählten Dateien werden in den Kontext geladen, danach antwortet der Agent
- Tool-Aufrufe werden als XML-Tags geschrieben und geparst
- Ein Beispiel ist ein Tag zur Dateibearbeitung in der Form <edit_file path="src/app.ts">…</edit_file>
- Über andere Tags sind auch das Ausführen von Terminalbefehlen oder Anfragen zum Lesen weiterer Dateien möglich

Der Server leitet Nachrichten an Anthropic oder OpenAI weiter und speichert keinen Zustand
- Für den Datentransfer zwischen Client und Server werden WebSockets verwendet
- In den ersten drei Monaten wurden Anfragen ohne Authentifizierung oder Datenbank über kostenlose Installation und eigene API-Keys verarbeitet
Später kamen die für den Produktbetrieb nötigen Komponenten hinzu
- Postgres + Drizzle-Datenbank
- Bun-Server
- Render-Hosting
- Auth.js-Authentifizierung
- NextJS-Website
- Stripe-Zahlungen
- BetterStack-Logging
- Retool-Dashboard

Die Preisgestaltung besteht aus einem begrenzten kostenlosen Nutzungskontingent und einem kostenpflichtigen Plan für 99 US-Dollar pro Monat
- Der kostenpflichtige Plan bietet mehr Credits
- Wegen größerer Kontexte und teurer LLM-Aufrufe sei Codebuff teurer als Konkurrenzprodukte
Zu den realen Anwendungsfällen gehören das Erstellen von Flutter-Apps, das Schreiben von Unit-Tests, iterative Änderungen und die Automatisierung wiederkehrender Aufgaben
- Ein Nutzer erstellte zwei Flutter-Apps parallel, verursachte dabei 500 US-Dollar an Kosten und stellte die Apps über lange Gespräche mit Codebuff fertig, ohne den erzeugten Code selbst anzusehen
- Mehrere Nutzer bauten an einem Wochenende echte Apps für Teams oder den persönlichen Gebrauch
- Häufige allgemeine Einsatzzwecke sind das Schreiben von Unit-Tests, Schleifen zur Codeanpassung bis Tests bestehen, das Einrichten von OAuth-Flows und API-Scaffolding
Für Nutzer, die Codebuff in eigenen Systemen verwenden möchten, gibt es außerdem ein Alpha-SDK
- Apps können dieselbe Natural-Language-Schnittstelle aufrufen und Codeänderungen erhalten
- Link zur Early-Access-Anmeldung: Retool-Formular