- Am 29. September veröffentlichte Anthropic den Beitrag Effective context engineering for AI agents, den ich hier zusammenfassend übersetzt habe. Im Blogbeitrag wurden die Bilder und Links aus dem Original möglichst weitgehend beibehalten.
Prompt Engineering vs. Context Engineering
- Beim Prompt Engineering geht es darum, einzelne Anfragen besser zu machen,
- beim Context Engineering hingegen darum, aus verschiedensten Kontexten nur das wirklich Nötige zu kuratieren, insbesondere für Agents.
Warum Context Engineering beim Bau von Agents wichtig ist
- Heutige Agents werden so entwickelt, dass sie „länger und mit mehr Tools“ arbeiten.
- Dadurch wird der Kontext zwangsläufig länger. LLMs verlieren dann, ähnlich wie Menschen, den Fokus, wenn der Kontext mit zu vielen Daten gefüllt ist, und können gewünschte Informationen schwerer abrufen.
- Deshalb ist die effektive Steuerung des Kontexts für die Entwicklung von Agents äußerst wichtig.
Die Anatomie effektiven Kontexts
Gutes Context Engineering bedeutet, die kleinstmögliche Menge an hochsignaligen Tokens zu finden, die die Wahrscheinlichkeit des gewünschten Ergebnisses maximiert.
> Smallest possible set of high-signal tokens that maximize the likelihood of some desired outcome
1) System Prompt
- Ein System Prompt sollte sehr klar, einfach und direkt formuliert sein – genau in der richtigen Detaillierung. Ist er zu spezifisch, kann er nicht auf vielfältige Fälle reagieren; ist er zu abstrakt, muss das LLM zu viel selbst erschließen.
- Starte mit einer Minimalbeschreibung des erwarteten Verhaltens und verbessere dann nur für Fälle, in denen Frontier-Modelle scheitern, mit klaren Anweisungen und Beispielen.
- Trenne Abschnitte mit Techniken wie XML oder Markdown, ohne dich dabei zu sehr an eine exakte Syntax zu klammern.
2) Tools
- Tools sollten Informationen token-effizient zurückgeben und den Agent gleichzeitig zu token-effizientem Arbeiten anleiten. Sie sollten in einer Form vorliegen, die LLMs gut verstehen, und sich funktional möglichst wenig überschneiden.
- Der häufigste Fehler ist, dass ein einzelnes Tool zu viele Funktionen abdeckt oder dass es für das LLM schwer wird zu entscheiden, welches Tool es nutzen soll. Wenn es für menschliche Engineers schwer ist zu entscheiden, wann sie was verwenden sollen, ist es für AI Agents ebenfalls schwer.
- Few-shot Prompting mit Beispielen ist immer sehr zu empfehlen. Zu viele Edge Cases verringern jedoch die Allgemeingültigkeit. Füge daher vielfältige Beispiele ein, die bewusst gewähltes erwartetes Verhalten zeigen.
Kontextabruf und agentische Suche
- Ein Agent ist eine Entität, die in einer Schleife läuft und autonom Tools ausführt, um ein Ziel zu erreichen. Je leistungsfähiger das Modell wird, desto mehr Rechte bzw. Autonomie kann man dem Agent geben.
- Mit der Weiterentwicklung agentischer Ansätze sieht man immer häufiger Strategien, die Kontext JIT (Just in Time) bereitstellen. Claude Code nutzt das besonders gut, etwa indem es Dateipfade und Links im Prompt erkennt und sie direkt an Ort und Stelle abruft.
- Um guten Kontext per JIT zu laden, müssen Informationen von Anfang an in einer guten Struktur gespeichert sein. Dazu gehört auch die Frage, wie Metadaten abgelegt werden, die beim Abruf helfen. Ordnerstruktur, Naming Conventions, Zeitstempel und andere für Menschen wichtige und sinnvolle Signale helfen auch Agents erheblich bei der Nutzung von Informationen.
Context Engineering für Long-Horizon Tasks
Lang andauernde Aufgaben überschreiten meist mühelos das Kontextfenster eines LLM. Deshalb wird es sehr wichtig, wie man sicherstellt, dass ein Agent guten Kontext beibehält und sich stetig auf das Ziel zubewegt.
Je nach Art der Aufgabe lassen sich grob drei Techniken einsetzen.
- Komprimierung eignet sich gut, um den Gesprächsfluss bei Aufgaben mit umfangreicher bidirektionaler Kommunikation aufrechtzuerhalten.
- Strukturiertes Notetaking eignet sich gut, um Aufgaben mit klaren Meilensteinen iterativ zu entwickeln.
- Subagent-Architekturen eignen sich gut für komplexe Recherche- und Analyseaufgaben, bei denen parallele Exploration wirksam ist.
1) Komprimierung
- Wenn man sich der Grenze des Kontextfensters nähert, werden wichtige Inhalte zusammengefasst und in ein neues Fenster übergeben. In Claude Code geschieht das, indem der Nachrichtenverlauf zur Zusammenfassung übergeben wird – etwa Architekturentscheidungen, ungelöste Bugs oder Implementierungsdetails.
- Der Kern der Komprimierung ist letztlich die Frage, was man behält und was man verwirft. Am einfachsten verwerfbar sind Tool-Aufrufe und deren Ergebnisse. Wenn sie bereits im Nachrichtenverlauf enthalten sind, muss man sie fast nie zusätzlich behalten.
- Mit dem ab Sonnet 4.5 eingeführten Memory-Tool ist Context Editing möglich: https://www.anthropic.com/news/context-management
2) Strukturiertes Notetaking
- Das wird auch agentisches Memory genannt. Dabei hinterlässt man regelmäßig Notizen außerhalb des Kontextfensters, also etwa im Dateisystem, und holt sie später wieder zurück.
- Ebenfalls seit Sonnet 4.5 ist diese Technik mit dem Memory-Tool deutlich einfacher geworden.
3) Subagent-Architektur
- Der Haupt-Agent plant und koordiniert aus der Vogelperspektive, während Subagents tiefere technische Arbeiten übernehmen oder Tools nutzen, um relevante Informationen zu finden.
- Siehe dazu auch den Beitrag wie ein Multi-Agent-Research-System gebaut wurde.
Fazit
- Je leistungsfähiger Modelle werden, desto wichtiger wird es, nicht nur gute Prompts zu schreiben, sondern in jedem Schritt auszuwählen, welche Informationen innerhalb des „Aufmerksamkeitsbudgets“ liegen sollen.
- Ob man Komprimierung für Langzeitaufgaben implementiert, token-effiziente Tools entwirft oder Agents in die Lage versetzt, ihre Umgebung rechtzeitig zu erkunden – das Leitprinzip bleibt gleich: die kleinstmögliche Menge an hochsignaligen Tokens zu finden, die die Wahrscheinlichkeit des gewünschten Ergebnisses maximiert.
- Die in diesem Beitrag beschriebenen Techniken werden sich zusammen mit den Modellverbesserungen weiterentwickeln und autonomer werden, doch die Sichtweise, dass „Kontext eine wertvolle und endliche Ressource ist“, bleibt ein zentraler Baustein für den Bau verlässlicher und effektiver Agents.
- Für weitere Inhalte siehe das Cookbook zu Memory- und Context-Management.
Noch keine Kommentare.