Einleitung
- Wenn die Ergebnisse von KI beim Coden nicht zufriedenstellend sind, ist es viel effektiver, nur die für die Absicht wirklich nötigen Informationen als Kontext bereitzustellen, statt wahllos Tokens zu verbrauchen.
- Selbst wenn das Kontextfenster eines Modells größer wird, behindern zu viele Informationen die KI eher dabei, die gewünschten Stellen zu finden und zu verstehen.
- Ich stelle vier Techniken vor, die ich nutze, um von Coding-Agenten in Legacy-Codebases zufriedenstellendere Ergebnisse zu erhalten. Sie hängen nicht stark von der Modellleistung ab und sind praktische Methoden, mit denen sich sofort Zeit und Kosten sparen lassen.
1. Vor der Umsetzung erst erkunden und verstehen
- Bevor man ein Problem löst oder Code verändert, ist es vorteilhaft, Zeit in ein besseres Verständnis der Domäne und der Codebase zu investieren.
- Dadurch kann man präzisere Fachbegriffe verwenden, die richtigen Dateien referenzieren und die KI gezielt auf das Wesentliche lenken.
- In dieser Phase sollte man Codeänderungen möglichst vermeiden und sich darauf konzentrieren, der KI Fragen zu stellen und Wissen aufzubauen.
2. Beispielcode zum Nachmachen zeigen
- LLMs neigen dazu, sich dem Durchschnitt anzunähern. Deshalb sollte man gute Codebeispiele bereitstellen, um das Niveau der Ergebnisse zu erhöhen.
- Statt Code-Konventionen lang und breit in Textform zu erklären, ist es deutlich wirksamer, gut gemachten Beispielcode zu zeigen und zu sagen: „Schreib es wie diese Funktion.“
- Besonders bei der Migration bestimmter Muster funktioniert es sehr gut, zuerst einige wenige Stellen korrekt umzuwandeln und diese der KI als Beispiele zu zeigen; den Rest erledigt sie dann sehr zuverlässig.
3. Skripte als Werkzeuge an die Hand geben
- Wenn man der KI statische Analysewerkzeuge als Tools an die Hand gibt, kann man typische Schwächen von LLMs abfedern und die Qualität der Ergebnisse erhöhen.
- Ebenso lassen sich Probleme zuverlässig vermeiden, wenn man für Aufgaben mit leicht wiederkehrenden Fehlern Skripte erstellt, die die KI nutzen kann, etwa ein Skript zum Auffinden von i18n-Keys.
- Ähnlich gilt: Bei Extraktions- oder Transformationsaufgaben mit klar erkennbarem Muster ist es deutlich präziser, die KI nicht die Aufgabe direkt ausführen zu lassen, sondern sie ein Skript dafür schreiben und ausführen zu lassen.
4. Den Oberlauf des Flusses korrigieren
- Statt ein fehlerhaftes Ergebnis im Nachhinein korrigieren zu lassen, ist es vorteilhafter, den eigentlichen Ursprung solcher Ergebnisse zu verbessern: den Prompt.
- Noch besser ist es, den Prozess zur Erstellung von Prompts zu verbessern, etwa indem man zuerst Beispielcode oder Tests schreibt.
- Und noch besser ist es, auch das Gehirn zu verbessern, das diesen Prozess entworfen hat. Man sollte Erfahrungen mit unnötigem Pingpong mit der KI reflektieren und die Fähigkeit ausbauen zu entscheiden, wann man selbst eingreifen und wann man die KI einsetzen sollte.
Zum Schluss
- Einer der wichtigsten Benchmarks für Agenten ist, „wie lange sie arbeiten können“. Realistisch gesehen fehlt den meisten Nutzerinnen und Nutzern jedoch noch die Fähigkeit, ihnen Arbeit im Umfang ihrer tatsächlichen Grenzen zu übertragen.
- Ich glaube, dass in der KI-Ära diejenigen zu Spitzenkräften werden, die „Aufgaben finden, die man an Agenten delegieren kann, ihnen die passenden Werkzeuge geben und sie mit geeignetem Prompting lange arbeiten lassen“ können.
- Ich hoffe, dass die in diesem Artikel vorgestellten Techniken dabei helfen, sich genau zu solchen Fachkräften zu entwickeln.
1 Kommentare
Das deckt sich mit meinen Erfahrungen!