Vergleich von Open-Source-KI-Agenten-Frameworks – Welches passt zu mir?

• Ein Vergleich verschiedener Open-Source-KI-Agenten-Frameworks wie LangGraph, OpenAI Agents SDK, Smolagents, CrewAI, AutoGen, Semantic Kernel und LlamaIndex Agents
• Die Entwicklung von KI-Agenten war früher eine Kombination aus Skripten, Prompt Engineering und Trial-and-Error, doch inzwischen nimmt die Zahl der Open-Source-Frameworks zu
• Jedes Framework hat seine eigene Architekturphilosophie im Spannungsfeld zwischen Autonomie und Stabilität von Agenten
• Durch die Integration mit Observability-Tools wie Langfuse lassen sich Prompts, Antworten und API-Aufrufe visualisieren und debuggen

LangGraph – Graphbasierte Workflows

• Ein Framework mit Graph-Architektur auf Basis von LangChain
• Jeder Knoten verarbeitet einen Prompt oder eine Arbeitseinheit, und Kanten (edge) steuern den Datenfluss und Verzweigungen
• Gut geeignet für komplexe mehrstufige Aufgaben, Parallelverarbeitung und das Einfügen von Fehlerbehandlungslogik
• Stark bei Visualisierung und Debugging und passend für den Entwurf zustandsbasierter Agenten

OpenAI Agents SDK – Offizielles OpenAI-Agenten-Toolkit

• Ein von OpenAI bereitgestelltes offizielles SDK
• Integriert sich nahtlos mit Modellen wie GPT-4o und GPT-o3
• Durch das Festlegen von Rollen (role), Tools und Triggern lassen sich mehrstufige Aufgaben ausführen
• Geeignet für Nutzer, die mit dem OpenAI-Ökosystem vertraut sind

Smolagents – Minimalistischer codebasierter Ansatz

• Ein minimalistisches, codezentriertes Agenten-Framework von Hugging Face
• Die KI erzeugt und führt Python-Code aus innerhalb einer einfachen Schleife
• Geeignet für schnelles Prototyping ohne komplexe Orchestrierung
• Verwendet intern Prompts im ReAct-Stil

CrewAI – Rollenbasierte Zusammenarbeit mehrerer Agenten

• Jedem Agenten wird eine eigene Rolle zugewiesen, sodass Zusammenarbeit möglich ist
• Über das Container-Konzept „Crew“ wird der Workflow automatisch angepasst
• Einfach umzusetzen für Szenarien wie Planer (Planner) – Rechercheur (Researcher) – Autor (Writer)
• Enthält Speicherfunktionen und Fehlerbehandlungslogik

AutoGen – Asynchrone dialogbasierte Agenten

• Ein von Microsoft Research entwickeltes asynchrones dialogbasiertes Agenten-Framework
• Jeder Agent arbeitet asynchron, indem er Dialognachrichten mit anderen Agenten austauscht
• Besonders vorteilhaft, wenn mehrturnige Dialoge, Rollenwechsel und Tool-Aufrufe in Echtzeit wichtig sind
• Die ereignisbasierte Struktur eignet sich für Aufgaben mit hoher Nebenläufigkeit

Semantic Kernel – Enterprise-freundliche Workflows

• Ein .NET-zentriertes Framework von Microsoft
• Kombiniert KI-Skills und codebasierte Skills zu planungsbasierten Workflows
• Optimiert für Anforderungen im Unternehmenseinsatz wie Sicherheit, Compliance und Azure-Integration
• Unterstützt verschiedene Sprachen wie Python, C# und Java

LlamaIndex Agents – Datenzentrierte Agenten

• LlamaIndex begann als RAG-basiertes Framework und hat seine Agentenfunktionen erweitert
• Durchsucht lokale/externe Datenquellen und verknüpft die Ergebnisse mit Antworten oder Aktionen
• Geeignet für dokumentenbasiertes Q&A, Zusammenfassungen und maßgeschneiderte Suchagenten
• Wer bereits Erfahrung mit LlamaIndex hat, hat eine niedrige Einstiegshürde

Wann sollte welches Framework verwendet werden?

• Aufgabenkomplexität: Je nachdem, ob eine Aufgabe einfach oder komplex ist, sollte das passende Framework gewählt werden
  • Komplexe mehrstufige Abläufe: LangGraph, Semantic Kernel
  • Einfache codebasierte Ausführung: Smolagents
• Zusammenarbeit mehrerer Agenten: Wenn mehrere Agenten benötigt werden, ist eine Architektur nötig, die asynchrone Dialoge und Rollendelegation unterstützt
  • Rollenbasierte Agenten: CrewAI
  • Dialogbasierte asynchrone Agenten: AutoGen
• Integrationsumgebung: Die Umgebung und Systeme, mit denen der Agent interagieren muss, sollten berücksichtigt werden
  • OpenAI-zentrierte Services: OpenAI Agents SDK
  • Anbindung an bestehende Business-Logik erforderlich: Semantic Kernel
• Leistung und Skalierbarkeit: Die Performance-Anforderungen der Anwendung sollten beachtet werden. Bei Echtzeitinteraktionen kann eine ereignisbasierte Architektur erforderlich sein
  • Verarbeitung mit hoher Nebenläufigkeit erforderlich: AutoGen
  • Integration mit Observability-Tools (z. B. Langfuse) für Debugging und Nachverfolgung möglich

Bedeutung von Observability- und Tracing-Tools

• Agenten umfassen externe API-Aufrufe, Datenabruf und komplexe Verzweigungslogik, daher ist transparentes Tracing unverzichtbar
• Mit Tools wie Langfuse können folgende Punkte nachverfolgt werden:
  • Der Ablauf jedes Prompts und jeder Antwort
  • Zeitpunkt und Ergebnis von Tool-Aufrufen
  • Visualisierung von Fehlern und Ausführungspfaden
• In Produktionsumgebungen unverzichtbar für Leistungsmessung, Fehler-Debugging und iterative Verbesserung