12-Faktor-Agenten: Muster für vertrauenswürdige LLM-Anwendungen

 (github.com/humanlayer)
1 Punkte von GN⁺ 2025-04-17 | 1 Kommentare | Auf WhatsApp teilen
  • 12 Factor Agents stellt Prinzipien für den Aufbau vertrauenswürdiger LLM-Anwendungen vor
  • Auf Grundlage von Erfahrungen mit AI-Agent-Frameworks wurde festgestellt, dass die meisten Produkte keine echten Agenten sind
  • 12 Factor Agents untersucht, wie sich LLM-basierte Software auf ein Niveau bringen lässt, das gut genug ist, um sie Kunden bereitzustellen
  • Die 12 Faktoren umfassen zentrale Techniken zur Verbesserung von Zuverlässigkeit, Skalierbarkeit und Wartbarkeit von LLM-Software
  • Die Integration modularer Konzepte in bestehende Produkte ist ein Weg, schnell hochwertige AI-Software bereitzustellen

12 Factor Agents - Prinzipien für den Aufbau vertrauenswürdiger LLM-Anwendungen

  • Auf Grundlage von Erfahrungen mit AI-Agent-Frameworks wurde festgestellt, dass die meisten Produkte keine echten Agenten sind
  • 12 Factor Agents untersucht, wie sich LLM-basierte Software auf ein Niveau bringen lässt, das gut genug ist, um sie Kunden bereitzustellen
  • Die 12 Faktoren umfassen zentrale Techniken zur Verbesserung von Zuverlässigkeit, Skalierbarkeit und Wartbarkeit von LLM-Software
  • Die Integration modularer Konzepte in bestehende Produkte ist ein Weg, schnell hochwertige AI-Software bereitzustellen

Zusammenfassung: 12 Faktoren

  • Natürliche Sprache in Tool-Aufrufe übersetzen: Verstehen, wie sich Tools mit natürlicher Sprache aufrufen lassen
  • Prompts besitzen: Es ist wichtig, Prompts selbst zu besitzen und zu verwalten
  • Context Window besitzen: Es ist wichtig, das Context Window selbst zu besitzen und zu verwalten
  • Tools sind strukturierte Ausgaben: Tools sollten als strukturierte Ausgaben betrachtet werden
  • Ausführungszustand und Business-Zustand integrieren: Ausführungszustand und Business-Zustand werden integriert verwaltet

Das Versprechen von Agenten

  • DAG (Directed Acyclic Graph): Software kann als gerichteter Graph dargestellt werden, und DAG-Orchestratoren wurden populär
  • Das Versprechen von Agenten: Mit Agenten kann man DAGs verwerfen und das LLM den Pfad in Echtzeit bestimmen lassen
  • Agenten arbeiten in Schleifen: Agenten arbeiten in einer Schleife, in der das LLM den nächsten Schritt bestimmt, Tool-Aufrufe ausführt und die Ergebnisse dem Context Window hinzufügt

Warum 12-factor agents?

  • Grenzen bestehender Frameworks: Viele SaaS-Builder versuchen, Agenten zu entwickeln, erreichen aufgrund der Grenzen bestehender Frameworks jedoch nur schwer mehr als 80 % Qualität
  • Bedeutung modularer Konzepte: Die Integration modularer Konzepte in bestehende Produkte ist ein Weg, schnell hochwertige AI-Software bereitzustellen

Design Patterns für großartige LLM-Anwendungen

  • Kernelemente von Agenten: Es gibt Kernelemente, die Agenten wirklich gut machen; mit Frameworks erhält man die meisten davon
  • Integration modularer Konzepte: Die Integration modularer Konzepte in bestehende Produkte ist ein Weg, schnell hochwertige AI-Software bereitzustellen

Verwandte Ressourcen

  • Tool Use Podcast: Behandelt das Thema in einer Episode vom März 2025
  • The Outer Loop: Blog, der sich mit dem Thema befasst
  • Webinar: Webinar mit @hellovai zur Maximierung der LLM-Leistung
  • Open-Source-Agenten: Mit dieser Methodik wurden OSS-Agenten entwickelt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-04-17
Hacker-News-Kommentare

  • Sehr informatives Wiki. Danke, werde ich definitiv nutzen. Ich habe gestern gerade ein "AI Agents framework" veröffentlicht. Dieses Framework basiert auf dem Actor-Modell, Zustandsmaschinen und aspektorientierter Programmierung. Mir gefallen besonders Punkt 5 und 7.

    • Ausführungszustand und Geschäftsstatus zusammenführen
    • Den eigenen Kontrollfluss besitzen
    • SecAI macht diese Dinge gut und ist als Graph-Kontrollflussbibliothek aufgebaut, bei der LLM-Aufrufe in die Knoten des Graphen eingebettet sind. Aushandlung, Abbruch und Zustandsbeziehungen machen den Ablauf robuster und organischer
    • Was andere Frameworks oft verpassen, sind dedizierte Entwickler-Tools. Man kann Fehlerfälle programmieren, jeden Schritt detailliert inspizieren und automatische Datenexporte sowie einfache Integrationen nutzen
    • Ich habe die erste technische Demo veröffentlicht, zusammen mit einer Referenzimplementierung, die alle Entwickler-Tools zeigt
    • Ein Send/Stop-Button ermöglicht per einfacher API Start/Pause/Fortsetzen. Durch Netzwerktranzparenz ist das skalierbar

  • Großartig. Ich arbeite seit Jahren daran und habe dabei meine eigene Liste von Erkenntnissen aufgebaut. Das Wichtigste ist, die Planungs-Loop auf der niedrigsten Ebene zu besitzen.

    • Dynamische Planung ist in Ordnung, aber man sollte die OODA-Loop besitzen und Heuristiken haben, um zu entscheiden, ob eine Lösung konvergiert
    • Man sollte eine Workflow-Engine einbetten und das Modell die Workflow-Spezifikation erstellen lassen, die in dieser Engine ausgeführt wird

  • Ich bin wirklich froh, dass dieses Material genau jetzt erscheint. Danke.

    • Ich denke über eine audiovisuelle Sandbox wie vvvv nach. Die Idee ist, LM- oder einfache lokale neuronale Netzwerk-Knoten einzustecken, damit sie bestimmte Aufgaben ausführen, während die Ausgabe sehr eingeschränkt bleibt
    • Der Fluss von Frage zu Antwort ist sehr attraktiv. Auch mehrstufige Pipelines sind sehr interessant

  • Ich frage mich, wie Bibliotheken wie DSPY zu factor-2 passen.

    • Ich habe Beispiele gesehen, in denen BAML zum Erzeugen von Prompts verwendet wird. Es ist nicht einfach, Prompts von Hand zu schreiben, um strukturierte Informationen aus unstrukturierten Daten zu extrahieren
    • Ich frage mich, was ihr von der Verwendung der rohen Prompts von DSPY haltet

  • Ein alter Blogpost, aber die Aussagen zu Framework-Mustern haben während meiner ganzen Karriere Anklang gefunden. LLMs sollten besser als Bibliothek statt als Framework genutzt werden.

    • Frameworks sind attraktiver und leichter zu verkaufen und führen zu Lock-in-Effekten und zusätzlichen Services

  • Großartig. 80 % habe ich auf die harte Tour gelernt, und die restlichen 20 % werden eine lohnende Lektüre sein.

    • Ich hatte Erfolg mit LangGraph und pydantic-Schemata. Ich bin neugierig, was andere als nützlich empfinden

  • Noch etwas: Man sollte die Kosten beim Skalieren einplanen.

    • Das kann beim Skalieren teuer werden, daher sollte man alles, was sich mit deterministischen Komponenten lösen lässt, zuerst damit versuchen. Das kann Halluzinationen und Latenz verringern und bei den Kosten einen großen Unterschied machen

  • Um den Prinzipien leichter folgen zu können, braucht es ein konsistentes Narrativ. Die Verwendung von Beispielen aus der realen Welt wäre gut

  • Ich freue mich sehr, dass es auf der HN-Startseite ist

  • Sehr cool, BAML hier zu sehen. Ich stimme zu 100 % zu, dass man LLMs als Funktionen behandeln sollte