Launch HN: HumanLayer (YC F24) – Human-in-the-Loop-API für AI-Systeme
(news.ycombinator.com)- Eine API, mit der Produktions-AI-Agenten vor riskanten Aktionen menschliche Freigaben oder Eingaben einholen können, um die Belastung durch vollständig autonome Ausführung zu reduzieren
- Kernfunktion ist, Freigabeanfragen per Slack oder E-Mail zu senden, den Wartezustand auf Antworten zu verwalten und Audit-Trails bereitzustellen, um Menschen in den Ausführungsfluss von Agenten einzubinden
- Das Produkt entstand aus der Erfahrung, dass Kunden Vorbehalte hatten, wenn Automatisierungsagenten für Datenteams direkt auf Produktionssysteme zugreifen sollten
- Das SDK arbeitet auf der Tool-Call-Schicht und kann mit Frameworks wie CrewAI und LangChain sowie mit Sprachmodellen genutzt werden, die Tool Calls unterstützen
- Je stärker Agenten reale Aufgaben ausführen – etwa AI-SDRs, AI-Newsletter oder DevOps-Agenten –, desto wichtiger sind klar definierte Freigabepunkte und Wege, Hilfe anzufordern
Menschliche Freigabeabläufe für Produktionsagenten
- HumanLayer ist eine API, mit der AI-Agenten während der Ausführung Feedback, Eingaben und Freigaben von Menschen anfordern können
- Ziel ist es, beim Deployment autonomer oder headless AI-Systeme in Produktion an riskanten Schritten jeweils einen Human in the Loop einzubauen
- Ausgangspunkt war die Erfahrung beim Bau von AI-Agenten für Datenteams
- Langweilige Aufgaben wie das Löschen ungenutzter Tabellen sollten automatisiert werden
- Kunden lehnten es ab, dass AI-Agenten direkten Zugriff auf Produktionssysteme erhalten
- Um Produktionsreife und Verlässlichkeit zu erreichen, waren je nach Risiko der Aufgabe Evaluierung, Fine-Tuning und Prompt Engineering nötig; der Weg zu über 99,9 % Zuverlässigkeit konnte jedoch mehr als drei Monate dauern
- Am Ende entstand ein Freigabeablauf nach dem Muster „vor dem Löschen einer Tabelle in Slack nachfragen“; später wurden außerdem Guardrails nötig, damit Freigabeanfragen nicht an die falsche Person gehen
Funktionen und Integrationsansatz
- Nach Integration des HumanLayer SDK kann ein AI-Agent an jedem Punkt seiner Ausführung menschliche Freigabe anfordern
- Anfragen werden per Slack oder E-Mail an die passende Person geroutet
- SMS und Teams sollen bald unterstützt werden
- Während auf eine Antwort gewartet wird, wird der Status verwaltet
- Es wird ein vollständiger Audit-Trail bereitgestellt
- Neben „Freigabeanfragen“ unterstützt HumanLayer auch eine allgemeinere human as tool-Funktion
- Sie kann einem LLM oder Agenten-Framework als Tool bereitgestellt werden, das menschliche Antworten einholt
- Ein Beispiel wäre eine allgemeine Frage wie: „Ich komme bei diesem Problem nicht weiter und habe Folgendes ausprobiert; bitte gib mir Rat“
- Da es auf der Tool-Call-Schicht arbeitet, kann es mit Frameworks wie CrewAI und LangChain sowie mit Sprachmodellen genutzt werden, die Tool Calls unterstützen
- Wer eigene Agenten- und Tool-Loops baut, kann Freigabeabläufe über niedrigere SDK-Primitives direkt verwalten
- Neben AI-Mensch-Freigaben werden auch Einsatzfälle für Mensch-Mensch-Freigaben untersucht
Anwendungsfälle und Bereitstellung
- Mehrere Produktionsagenten nutzen die Freigabeabläufe von HumanLayer
- Ein Kunde baute einen AI SDR, der personalisierte Sales-E-Mails schreibt, vor dem Versand aber menschliche Freigabe in Slack einholt
- Ein anderer Kunde nutzt es für einen AI-Newsletter, bei dem Abonnenten mit Inhalten und E-Mail-Konversationen interagieren können
- Ein Team setzt es in einem kundengerichteten DevOps-Agenten ein, der PR-Reviews, Planung und Ausführung von DB-Migrationen, menschliche Freigaben an wichtigen Schritten sowie Hilferufe an das Team bei Problemen abwickelt
- Bereitgestellt wird es über Python- und TypeScript-SDKs, mit kostenloser Testversion, Free Tier und nutzungsbasierter Preisgestaltung
- Teams, die kundengerichtete Agenten bauen, erhalten White-Labeling, zusätzliche Funktionen und Priority Support
- Die Dokumentation ist unter humanlayer.dev/docs verfügbar
1 Kommentare
Hacker-News-Kommentare
Es gibt die Meinung, dass Startup-Inhaber mithilfe von AI interne Services im DIY-Stil erstellen möchten. Ich denke zwar, dass die Nutzung von SaaS besser ist, aber sie ist teuer und nicht unkompliziert. Wenn Wettbewerb entsteht, werden die Preise vermutlich sinken.
Es gibt Bedenken wegen der hohen Kosten von AI-Services; kostenlose Credits oder Preisanpassungen seien nötig.
Es gibt Bedenken hinsichtlich Automation Bias und Automation Complacency: Menschen könnten Entscheidungen der AI unkritisch abnicken.
Es wurde die Idee vorgeschlagen, menschliche Stellvertreter einzusetzen, die Aufgaben übernehmen, die AI-Agenten nicht leisten können.
Es wird auf Probleme bei Frameworks hingewiesen, die asynchrone oder langlaufende Tool-Aufrufe verarbeiten. Es gibt Ideen zur Lösung, die aber in einem anderen Beitrag behandelt werden sollen.
Es gibt die Meinung, dass Anstrengungen nötig sind, um auf der API-Ebene zu bleiben.
Es gibt die Ansicht, dass in der Frühphase der AI Menschen die Logik ausgeführt haben und die Qualität später sank, nachdem Menschen entfernt wurden. Als Metapher wird genannt, dass es nur eine vorübergehende Lösung sei, wenn Drittanbieterfirmen wieder Menschen einschleusen, um das zu beheben.
In Startups wird menschliches Eingreifen als wichtig angesehen; um das Potenzial von LLMs in realen Wert zu verwandeln, brauche es Kontrolle und Aufsicht. Dafür wurden maßgeschneiderte Workflows und manuelle Prozesse aufgebaut.
Es gibt die Meinung, dass Services mit grundlegenden Ein- und Ausgabefunktionen bereits in vielen Systemen möglich sind. Es lohne sich, das auszuprobieren, bevor man es selbst implementiert.
Ein Medizintechnikunternehmen erwägt AI als Workflow-Agent und plant, LLMs zur Unterstützung von ISO13485-Qualitätssicherungsprozessen einzusetzen. Man würde dazu gern die Meinungen anderer HN-Nutzer hören.