- Ein praktischer Leitfaden für Produkt- und Engineering-Teams, die erstmals LLM-basierte Agenten (agents) entwickeln
- Agenten sind im Gegensatz zu bestehenden Automatisierungssystemen Systeme, die auch in komplexen und mehrdeutigen Situationen selbst urteilen und handeln
- Es werden verschiedene Designmuster beschrieben, von Einzelagenten-Systemen bis hin zur Orchestrierung mehrerer Agenten
- Für Zuverlässigkeit und Sicherheit werden die Einrichtung von Guardrails sowie Strategien für menschliches Eingreifen (human intervention) hervorgehoben
- Empfohlen wird ein Ansatz, zunächst in kleinem Umfang zu starten und schrittweise auf Basis von Nutzerfeedback zu erweitern
Was ist ein Agent?
- Ein Agent ist ein System, das Aufgaben im Auftrag des Nutzers ausführt
- Modelle, die nur einmalig antworten, wie einfache Chatbots oder Stimmungsanalysatoren, gelten nicht als Agenten
- Agenten verfügen über die folgenden zwei Kernfunktionen
- Steuerung der Workflow-Ausführung und Entscheidungsfindung: Beurteilung des Abschlusses, Fehlerkorrektur und Rückgabe der Kontrolle an den Nutzer bei Fehlschlägen
- Nutzung von Tools: Interaktion mit externen Systemen, um Daten zu erfassen oder Aktionen auszuführen
Wann sollte man Agenten bauen?
- Geeignet für Bereiche, in denen traditionelle Automatisierung versagt oder schwer wartbar ist
- Geeignete Anwendungsfälle
- Komplexe Entscheidungsfindung: wenn eine differenzierte Beurteilung nötig ist, etwa bei der Genehmigung von Kundenerstattungen
- Schwer wartbare regelbasierte Systeme: wenn Regeln komplex sind, etwa bei der Automatisierung von Sicherheitsprüfungen
- Verarbeitung unstrukturierter Daten: wenn Dokumentenanalyse oder das Verstehen natürlicher Sprache erforderlich sind
Grundelemente des Agenten-Designs
- Modell (Model): das LLM, das für Schlussfolgerungen und Entscheidungen zuständig ist
- Tools: API-Funktionen zur Interaktion mit externen Systemen
- Anweisungen (Instructions): klare Vorgaben, die das Verhalten des Agenten definieren
Leitlinien zur Modellauswahl
- Prototypen zunächst mit dem leistungsstärksten Modell entwickeln → anschließend unter Berücksichtigung von Kosten und Latenz versuchen, auf ein kleineres Modell zu wechseln
- Evaluationskriterien (evals) festlegen, Genauigkeit prüfen und danach optimieren
Wie Tools definiert werden sollten
- Tools in standardisierter Form entwerfen, um die Wiederverwendbarkeit zu erhöhen
- Tool-Typen
- Datenabfrage: DB-Suche, Lesen von Dokumenten, Websuche
- Aktionen ausführen: E-Mails versenden, CRM aktualisieren
- Orchestrierung: andere Agenten aufrufen, um Aufgaben zu verteilen
Best Practices für das Schreiben von Anweisungen
- Vorhandene Betriebs- oder Richtliniendokumente nutzen, um klare schrittweise Anweisungen zu verfassen
- Aufgaben in kleinere Teile zerlegen und als konkrete Aktionen angeben
- Methoden zur Behandlung von Fehlern oder Ausnahmesituationen (Edge Cases) unbedingt einschließen
Orchestrierungsmuster
Einzelagenten-System
- Ein Agent bearbeitet mehrere Aufgaben über eine wiederholte Schleife (run loop)
- Reagiert mithilfe von Prompt-Templates auf unterschiedliche Situationen
- Es wird empfohlen, bei einem Einzelagenten zu bleiben, solange die Komplexität beherrschbar ist
Multi-Agenten-System
Manager-Muster (Manager Pattern)
- Ein zentraler Manager-Agent ruft mehrere spezialisierte Agenten wie Tools auf und koordiniert den Workflow
- Hält die Schnittstelle zum Nutzer konsistent
Dezentrales Muster (Decentralized Pattern)
- Agenten übergeben sich die Kontrolle gegenseitig per Handoff
- Ein Agent mit einem bestimmten Fachgebiet übernimmt die Kontrolle genau dann, wenn er benötigt wird
- Eignet sich anfangs für einfache Triage-Aufgaben
Guardrails
Zweck
- Schutz der Datenprivatsphäre und Verhinderung von Systemmissbrauch
- Wahrung der Markenkonsistenz und Blockierung unangemessener Antworten
Wichtige Typen
- Relevanzfilterung: Blockierung von Eingaben, die nichts mit dem Thema zu tun haben
- Sicherheitsfilterung: Erkennung von Versuchen zum Systemausbruch (jailbreak)
- PII-Filter zum Schutz personenbezogener Daten: Blockierung der Offenlegung sensibler Informationen
- Moderation: Blockierung von Gewalt und Hassrede
- Tool-Risikomanagement: zusätzliche Validierung bei Aufrufen von Hochrisiko-Tools
Aufbaustrategie
- Datenprivatsphäre und Content-Sicherheit als höchste Priorität behandeln
- Kontinuierlich ergänzen, angepasst an neue Risiken, die im realen Einsatz entdeckt werden
- Sicherheitsanforderungen und Nutzererlebnis in Balance bringen
Menschliches Eingreifen (Human-in-the-loop)
- Die Kontrolle an Menschen übergeben, wenn der Agent scheitert oder risikoreiche Aufgaben bearbeitet
- Typische Auslöser
- Überschreiten eines Fehlerschwellenwerts
- Anfragen für sensible Aufgaben mit hohem Risiko (Erstattungen, Zahlungen usw.)
Fazit
- Agenten sind innovative Systeme, die Workflows in komplexen und unsicheren Situationen automatisieren können
- Eine starke Modell-Tool-Anweisungs-Struktur aufbauen und die Orchestrierung schrittweise erweitern
- Guardrails und menschliches Eingreifen müssen zwingend eingerichtet werden, um Sicherheit und Zuverlässigkeit zu gewährleisten
- Klein anfangen, schnell validieren und Funktionen schrittweise erweitern ist der Schlüssel zu einer erfolgreichen Bereitstellung
1 Kommentare
https://notebooklm.google.com/notebook/…
Ich habe es mit NotebookLM erstellt.