Agentic Engine Optimization (AEO)

• Da die Art, wie AI-Coding-Agenten Dokumentation konsumieren, sich grundlegend von Menschen unterscheidet, verschwindet immer mehr AI-Traffic aus Analysetools, wenn man nur menschenzentriert optimiert
• Agenten holen Dokumente mit einer einzelnen HTTP-Anfrage ab, zählen die Token und verwerfen sie stillschweigend, wenn sie nicht ins Kontextfenster passen. Daher werden klassische Analysemetriken wie Scrolltiefe, Verweildauer oder Klicks überhaupt nicht erfasst
• Als Antwort darauf wird das Konzept Agentic Engine Optimization (AEO) vorgestellt: Dokumentation so zu strukturieren, zu formatieren und bereitzustellen, dass Agenten sie tatsächlich nutzen können
• Im Kern von AEO stehen Auffindbarkeit, Parsbarkeit, Token-Effizienz, Capability Signaling und Zugriffskontrolle; wenn nur eines davon scheitert, überspringen Agenten Inhalte oder erzeugen fehlerhafte Ausgaben
• Teams, die früh reagieren, sichern sich den Vorteil, dass ihre APIs von Agenten empfohlen und integriert werden, und agentenfreundliche Dokumentation führt am Ende auch zu besserer Dokumentation für Menschen

---

Was ist AEO?

• Agentic Engine Optimization (AEO) ist eine Praxis, technische Inhalte so zu strukturieren, zu formatieren und bereitzustellen, dass AI-Coding-Agenten sie tatsächlich verwenden können
• Während SEO auf Suchcrawler und menschliche Klickmuster optimiert war, richtet sich AEO an einen neuen Konsumenten: AI-Agenten, die Inhalte selbstständig abrufen, parsen und daraus schlussfolgern
• Zentrale Faktoren
  • Discoverability – Können Agenten Dokumentation ohne JavaScript-Rendering finden?
  • Parsability – Ist sie maschinenlesbar, ohne visuelle Layouts interpretieren zu müssen?
  • Token efficiency – Passt sie ohne Abschneiden in typische Kontextfenster von Agenten?
  • Capability signaling – Signalisiert die API nicht nur, wie sie aufgerufen wird, sondern was sie tut?
  • Access control – Erlaubt robots.txt AI-Traffic tatsächlich?

Wie Agenten Dokumentation lesen

• Menschliches Muster: Auf der Dokumentations-Startseite landen, zwischen Abschnitten wechseln, Überschriften überfliegen, Codebeispiele ausführen, 2–3 interne Links aufrufen, 4–8 Minuten pro Session bleiben → alles wird von Analyse-Tools erfasst
• Agenten-Muster: Laut einer Arbeit, die den HTTP-Traffic von 9 wichtigen Coding-Agenten wie Claude Code, Cursor, Cline, Aider, VS Code und Junie analysiert, wird die Navigation über mehrere Seiten auf 1–2 HTTP-Anfragen komprimiert
  • Gesamte Seite per einzelner GET-Anfrage abrufen und dann weiterarbeiten; das Konzept einer „User Journey“ kollabiert serverseitig zu einem einzelnen Ereignis
  • Scrolltiefe, Verweildauer, Button-Klicks, Tutorial-Abschlüsse, Link-Navigation, Formular-Interaktionen und sämtliche clientseitigen Events werden unsichtbar

Fingerprints von AI-Traffic

• In Server-Logs gibt es eindeutige Signaturen, mit denen sich Agenten-Traffic identifizieren lässt
  • Aider: Headless Chromium (Playwright), On-demand-GET, vollständiger Mozilla/Safari-User-Agent
  • Claude Code: Node.js/Axios, On-demand-GET, axios/1.8.4
  • Cline: curl, GET + OpenAPI/Swagger-Sweep, curl/8.4.0
  • Cursor: Node.js/got, HEAD-Probe → GET, got (sindresorhus/got)
  • Junie: curl, sequenzielles Multi-Page-GET, curl/8.4.0
  • OpenCode: Headless Chromium (Playwright), On-demand-GET
  • VS Code: Electron/Chromium, Chromium-Stil mit Electron-Markern
  • Windsurf: Go/Colly, colly
• Neben Coding-Agenten erzeugen auch AI-Assistenten-Webdienste wie ChatGPT, Claude, Google Gemini und Perplexity serverseitige Fetches mit eigenen Fingerprints, wenn Nutzer URLs teilen

Das Token-Problem: Dokumentation kann für Agenten unsichtbar sein

• Agenten haben meist eine praktische Grenze von 100K–200K Token, und Kontextmanagement ist bei jeder Aufgabe eine aktive Einschränkung
• Fallbeispiel aus der Arbeit: Der Cisco Secure Firewall Management Center REST API Quick Start Guide (Version 10.0) hat 193.217 Token und rund 718.000 Zeichen; schon dieses einzelne Dokument verbraucht oder überschreitet bei den meisten Agenten das verfügbare Kontextfenster
• Was passiert, wenn Dokumentation zu lang ist?
  • Stilles Abschneiden mit Verlust wichtiger Informationen
  • Überspringen des Dokuments zugunsten kürzerer Inhalte
  • Mehr Latenz und größere Fehleroberfläche durch Chunking-Versuche
  • Fallback auf parametrisches Wissen — also Halluzinationen
• Fazit: Die Token-Zahl ist jetzt eine erstklassige Dokumentationsmetrik, und das Tracking pro Seite ist Pflicht

Praktische Token-Ziele

• Quick-Start-/Getting-Started-Seiten: unter 15.000 Token
• Einzelne API-Referenzseiten: unter 25.000 Token
• Gesamte API-Referenz: nicht nach Produkt, sondern nach Ressource/Endpoint chunken
• Konzept-Guides: unter 20.000 Token, Details per Link statt eingebettetem Inhalt

Der AEO-Stack: Was tatsächlich gebaut werden muss

• AEO ist keine einzelne Technik, sondern ein Set aus Signalen und Standards in mehreren Schichten — vom Fundament bis zur Oberfläche

Layer 1: Zugriffskontrolle (robots.txt)

• Viele Agenten prüfen vor dem Abruf von Inhalten zuerst robots.txt; bei falscher Konfiguration wird der Zugriff auf Dokumentation still und ohne Fehler blockiert
• Umsetzung
  • Unbeabsichtigte Sperren für AI-Agent-User-Agents prüfen
  • Explizite Freigaben für bekannte Muster wie Anthropic-, OpenAI-, Google- oder Perplexity-Crawler erwägen
  • Wenn feinere Steuerung nötig ist, agent-permissions.json nutzen (ein aufkommender Standard, der erlaubte automatische Interaktionen, Rate Limits, bevorzugte API-Endpoints usw. deklariert)

Layer 2: llms.txt für Auffindbarkeit

• Eine Markdown-basierte Klartextdatei, gehostet unter yourdomain.com/llms.txt, die als Sitemap für AI-Agenten dient
• Sie liefert ein strukturiertes Verzeichnis der Dokumentation mit Beschreibungen, sodass Agenten relevante Inhalte verstehen können, ohne die gesamte Website zu crawlen
• Beispielstruktur: Getting Started (Quick Start Guide, Authentication, Core Concepts), API Reference (REST API Overview, Users API 12K Token, Events API 8K Token), MCP Integration (MCP Server)
• Merkmale einer guten llms.txt
  • Beschreibungen, die nicht nur Seitennamen nennen, sondern erklären, was dort zu finden ist
  • Wenn sinnvoll, Token-Anzahl pro Seite
  • Nach Aufgaben statt nach Produkthierarchie organisiert
  • Eigene Größe unter 5.000 Token halten (der Index darf das Budget nicht sprengen)

Layer 3: Capability Signaling mit skill.md

• Wenn llms.txt sagt, wo etwas ist, sagt skill.md, was das Produkt kann
• Statt Funktionen aus Prosatexten ableiten zu müssen, können Agenten Intentionen deklarativ auf Endpoints und Ressourcen abbilden
• Beispiel für einen Auth-Service
  • What I can accomplish: OAuth-2.0-Authentifizierung (Authorization Code, Client Credentials, PKCE), Ausgabe und Verifizierung von JWT-Token, Verwaltung von Session- und Refresh-Token-Rotation, SSO-Integration (SAML, OIDC)
  • Required inputs: Client ID/Secret, vorregistrierte Redirect URI, angeforderte Scopes (read:user, write:data, admin)
  • Constraints: 1000 Token-Requests pro Minute und Anwendung, Access-Token 1 Stunde, Refresh-Token 30 Tage, PKCE für Public Clients verpflichtend
  • Key documentation: OAuth 2.0 Guide, Token Reference, Postman Collection
• So können Agenten beurteilen, ob eine API die Nutzerintention erfüllen kann, bevor sie ihr Kontextbudget auf das Lesen der gesamten Dokumentation verwenden

Layer 4: Content-Format für Agenten-Parsing

• Nicht nur HTML, sondern auch Markdown anbieten — Zugriff auf das ursprüngliche Markdown per .md in der URL oder Query-Parameter erlauben; ohne Tag-, Navigations- und Footer-Rauschen sinkt der Token-Overhead drastisch
• Für Scanbarkeit statt für lineares Lesen strukturieren
  • Konsistente Überschriften-Hierarchie (H1 → H2 → H3, ohne Sprünge)
  • Jeder Abschnitt beginnt mit dem Ergebnis (Outcome) statt mit Hintergrund
  • Codebeispiele direkt nach der Erklärung platzieren
  • Für Parameter-Referenzen Tabellen statt Prosalisten verwenden, da sie kompakter sind
• Navigationsrauschen wie Sidebar, Breadcrumbs oder Footer-Links entfernen
• In den ersten 500 Token jeder Seite beantworten: „Was ist das, was kann ich damit tun und was brauche ich für den Einstieg?“

Layer 5: Token sichtbar machen

• Die Token-Anzahl im llms.txt-Index und auf der Seite selbst (in Metadaten oder im Seitenkopf) offenlegen
• Beispielhafte Entscheidungen von Agenten
  • „Diese Seite hat 8K Token — passt komplett in den Kontext“
  • „Diese Seite hat 150K Token — nur relevante Abschnitte abrufen“
  • „Überschreitet das Kontextfenster — stattdessen llms.txt-Zusammenfassung verwenden“
• Umsetzung serverseitig: Zeichen zählen, grob durch 4 teilen und per Meta-Tag oder HTTP-Response-Header ausgeben

Layer 6: „Copy for AI“

• Wenn Entwickler Dokumentation als Kontext in einen AI-Assistenten in der IDE einfügen wollen, enthält eine Kopie des gerenderten HTML oft auch Navigations- und Footer-Rauschen
• Ein „Copy for AI“-Button, der sauberes Markdown in die Zwischenablage kopiert, verbessert die Qualität des Kontexts für Agenten spürbar
• Anthropic, Cloudflare und andere haben bereits Varianten davon veröffentlicht; geringe Kosten, hohes Signal

AGENTS.md: ein aufkommender De-facto-Standard

• So wie README.md der Einstiegspunkt für menschliche Entwickler in ein Repository war, entwickelt sich AGENTS.md zum Einstiegspunkt für AI-Agenten
• Coding-Agenten suchen beim Öffnen eines Projekts nach AGENTS.md im Root-Verzeichnis und nutzen es anschließend als Anleitung für alle weiteren Aufgaben
• Was in ein gutes AGENTS.md gehört
  • Projektstruktur und Speicherorte wichtiger Dateien
  • Direktlinks zu relevanter API-/Service-Dokumentation
  • Verfügbare Dev-Sandboxes und Testumgebungen
  • Rate Limits und Einschränkungen, die Agenten kennen müssen
  • Bevorzugte Muster und Konventionen der Codebase
  • Falls vorhanden, Links zu MCP-Servern
• Cisco DevNet hat dies als Standarddatei in GitHub-Templates für Open-Source-Projekte übernommen; beim Anlegen neuer Projekte wird ein projektspezifisches AGENTS.md mit Links zu OpenAPI-Dokumenten, DevNet-Sandboxes und Testumgebungen vorbefüllt

Monitoring von AI-Referral-Traffic

• Was man sofort tun kann: in den Analysetools AI-Referral-Traffic tracken
• Referral-Quellen, die man beobachten sollte: labs.perplexity.ai/referral, chatgpt.com/(none), chatgpt.com/organic, link.edgepilot.com/referral, platform.openai.com/referral, perplexity/(not set), claude.ai/referral, copilot.microsoft.com/referral, gemini.google.com/referral
• Direkter Agenten-Traffic ohne Referrer lässt sich mit den oben genannten HTTP-Fingerprints erkennen (axios/1.8.4, curl/8.4.0, got (sindresorhus/got), colly)
• Ein sauber aufgebautes AI-Traffic-Segment liefert Frühindikatoren, um die Wirkung von AEO-Maßnahmen zu bewerten

Größere Auswirkungen auf die Developer Experience

• Bisher wurden Entwicklerportale vor allem für progressive disclosure, visuelle Hierarchie, interaktive Beispiele und geführte Tutorials entworfen — also für menschliche Wahrnehmungsmuster
• Annahmen, die in einer agentenzentrierten Welt zerbrechen
  • Visuelle Hierarchie ist bedeutungslos — Agenten lesen Text, kein Layout
  • Progressive Disclosure wird zum Hindernis — Agenten wollen alles auf einmal
  • Interaktive Beispiele verlieren an Wert — ohne statisches/API-Äquivalent sind sie nutzlos
  • Die User Journey kollabiert — ein mehrseitiges Tutorial wird zu einem einzigen Kontext-Load
• Das bedeutet nicht, dass menschenzentriertes Design verschwindet, aber auch Menschen lesen Dokumentation zunehmend im Kontext von AI-Assistenten
• Die beste Dokumentation der Zukunft muss für Menschen gut scanbar und sauber strukturiert, für Agenten maschinenlesbar und token-effizient sein

AEO-Audit-Checkliste

Discovery

• llms.txt mit strukturiertem Dokumentationsindex im Root vorhanden
• robots.txt blockiert bekannte AI-Agent-User-Agents nicht unbeabsichtigt
• Zugriffsregeln für automatische Clients mit agent-permissions.json definiert
• AGENTS.md vorhanden, das relevante Dokumentation mit dem Code-Repository verbindet

Content structure

• Dokumentationsseiten werden als sauberes Markdown statt nur als gerendertes HTML angeboten
• Jede Seite beginnt innerhalb der ersten 200 Wörter mit einer klaren Ergebnis-Aussage
• Überschriften sind konsistent und hierarchisch korrekt
• Codebeispiele stehen direkt nach der Prosabeschreibung
• Parameter-Referenzen nutzen Tabellen statt verschachtelter Prosa

Token economics

• Token-Anzahl pro Dokumentationsseite wird getrackt
• Keine einzelne Seite überschreitet ohne Chunking-Strategie 30.000 Token
• Token-Anzahl wichtiger Seiten wird in llms.txt offengelegt
• Token-Anzahl wird in Seitenmetadaten (Meta-Tags oder HTTP-Header) bereitgestellt

Capability signaling

• skill.md beschreibt für jeden Service/API die Fähigkeiten statt die Aufrufweise
• Jede Skill-Datei enthält Capabilities, Required Inputs, Constraints und Links zu zentraler Dokumentation
• Falls relevant, steht ein MCP-Server für direkte Agenten-Integration bereit

Analytics

• AI-Referral-Quellen sind in Web-Analytics segmentiert
• Server-Logs werden auf bekannte HTTP-Fingerprints von AI-Agenten überwacht
• Eine Baseline für das Verhältnis AI- zu menschlichem Traffic ist definiert

UX bridge

• Dokumentationsseiten bieten einen „Copy for AI“-Button
• Das ursprüngliche Markdown ist per URL-Konvention zugänglich (z. B. durch Anhängen von .md)

Tooling

• Es wurde ein leichtgewichtiges Audit-Tool namens agentic-seo veröffentlicht, das llms.txt, Agenten-Blockaden in robots.txt, Token-Anzahl, Markdown-Verfügbarkeit usw. scannt — eine Art Lighthouse für Agent-Readiness

Wo man anfangen sollte

• Empfohlene Reihenfolge
  1. robots.txt prüfen — 10-Minuten-Aufgabe, verhindert stille Agenten-Sperren
  2. llms.txt hinzufügen — ein paar Stunden Arbeit, sofort bessere Auffindbarkeit
  3. Token messen und offenlegen — Wochenendprojekt mit hoher Hebelwirkung
  4. skill.md für die Top-3-APIs schreiben — beginnend mit den Zielen, auf die Agenten am häufigsten zugreifen
  5. „Copy for AI“-Button hinzufügen — geringe Kosten, hohes Signal
  6. Monitoring für AI-Traffic einrichten — liefert Daten, um die übrigen Maßnahmen zu rechtfertigen

Schluss

• So wie SEO gelehrt hat, dass „großartiger Content allein nicht reicht, sondern entsprechend den realen Traffic-Mustern seiner Zeit auffindbar gemacht werden muss“, ist AEO dieselbe Lektion für einen neuen Konsumenten
• AI-Coding-Agenten machen bereits einen erheblichen und wachsenden Anteil am Dokumentationstraffic aus und verhalten sich grundlegend anders als menschliche Leser
• Teams, die früh reagieren, sichern sich den Vorteil, dass ihre APIs von Agenten empfohlen, erfolgreich integriert und wiederverwendet werden
• Teams, die nicht reagieren, stehen vor einem schwer zu debuggenden stillen Fehlermodus, in dem die Lücke zwischen Dokumentationsqualität und realer Erfolgsquote von Agentenaufgaben immer größer wird
• Für Agenten zu bauen führt letztlich auch zu besserer Dokumentation für Menschen; beide Bereiche überlappen sich stärker, als sie auseinanderdriften