- In der Softwarebranche erhält das Konzept der „Software Factory“ derzeit viel Aufmerksamkeit. Es steht für ein neues Paradigma: AI Agents, die anhand vorgegebener Ziele selbstständig mehrere Arbeitsschritte ausführen und den Source Code eigenständig schreiben, während Entwickler sich darauf konzentrieren, ein System – also eine „Fabrik“ – aufzubauen und weiterzuentwickeln, das diesen Code zuverlässig in Serie produziert.
- Dru Knox vom AI-Entwicklungstool-Unternehmen Tessl hat diese neue Entwicklungsdisziplin Harness Engineering genannt.
- Harness bezeichnet, ähnlich dem Geschirr für ein Pferd, das gesamte Framework zur Steuerung und zum Antrieb von AI Agents. Im Kern dieses Frameworks stehen drei Loops, also wiederkehrende Schleifen, in denen derselbe Ablauf wiederholt durchlaufen wird.
- Was das Video behandelt: Was eine Software Factory ist und welche drei Kennzahlen sie definieren / Warum Tessl intern interaktive Coding-Sessions verboten hat und was danach geschah / Die drei Ebenen Inner, Outer und Meta Loop / Warum Harness Engineering schwierig ist / Wie Tessls Change Review und Verifier dies praktisch umgesetzt haben
- Video: https://www.youtube.com/watch?v=D_cw-k0F1DM&t=236
Wenn man dieselbe Struktur auf Wissensproduktion anwendet
- Eine Knowledge Factory ist ein System, in dem AI Agents Wiki-Seiten schreiben und Menschen ein „Redaktionssystem“ entwerfen und betreiben, das diese Inhalte in Serie produziert. Die Betreiber schreiben die Artikel nicht selbst, sondern verwalten Schreibrichtlinien und automatisierte Prüfmechanismen.
- Die interne Organisation der Fabrik orientiert sich an den fünf Rollen einer Zeitungsredaktion: Reporter, Kolumnist, Korrektorat, Desk und Chefredaktion.
- Entscheidend ist dabei: Nicht alle fünf Rollen sind „urteilende AI“. Das „Korrektorat“ ist keine AI, sondern regelbasierter Python-Code, und die „Chefredaktion“ ist ein Koordinator, der Arbeit verteilt. Die einzige Stelle, an der AI eigenständige Bewertungsurteile trifft, ist der „Desk“.
- Effizientes Fabrikdesign bedeutet nicht, einfach die Zahl der Agents zu erhöhen, sondern klar zu definieren, wo Urteilsfähigkeit platziert und wo sie ausgeschlossen wird.
Die drei Achsen der Reife – und Vertrauen
- Die Systemreife wird entlang von drei Achsen gemessen: Autonomie (Fertigstellung von Seiten ohne menschliches Eingreifen), Automatisierung (Umfang, in dem Veröffentlichung ohne menschliche Prüfung erlaubt ist) und Qualität (Niveau des produzierten Wissens).
- Selbst bei hoher Autonomie bleibt der Automatisierungsgrad niedrig, wenn Betreiber aus Unsicherheit jede Seite vollständig prüfen. Der zentrale Faktor, der diese Lücke schließt, ist „Vertrauen“.
- Zuerst wird Autonomie aufgebaut, dann wird der Automatisierungsbereich in dem Maß erweitert, in dem Vertrauen entsteht, während dabei ein konstantes Qualitätsniveau gehalten wird. Der Mechanismus, der dieses Vertrauen absichert, sind die „Loops“.
1. Inner Loop — Echtzeit-Selbstprüfung
- Der Inner Loop ist ein schneller, leichtgewichtiger Prüfprozess, den der Agent während des Schreibens regelmäßig ausführt, bevor er einen Entwurf einreicht. Je ausgefeilter dieser Loop ist, desto besser kann der AI Agent Fehler ohne menschliches Eingreifen selbst korrigieren; dadurch steigt die Autonomie.
- Während des Schreibens prüft er mit einem Python-Prüftool (
tools/lint.py) nur die von ihm selbst erstellten Dokumente. Wenn derselbe Fehler mindestens zweimal wiederholt auftritt, wird er sofort an die nächste Stufe übergeben, um die Verarbeitungsgeschwindigkeit zu halten.
2. Outer Loop — Doppelte Schranke kurz vor der Veröffentlichung
- Die erste Schranke ist das Korrektorat. Python-Code führt statische Prüfungen anhand deterministischer Regeln in zehn Bereichen durch, darunter Links, Zitate, Dokumentstruktur und Datenkonflikte.
- Die zweite Schranke ist der Desk. Er bewertet aus Sicht eines unbeteiligten Lesers qualitativ nach sechs Kriterien, darunter Bias, Informationsdichte, Lesbarkeit und Argumentationsfluss, und gibt nur eine Liste von Verbesserungen zurück, ohne selbst direkt zu korrigieren.
- Das entspricht der zweistufigen Struktur aus Verifier (erste Schranke) und Change Review (zweite Schranke) in einer Software Factory.
- Hier gibt es ein entscheidendes Designprinzip: Dem Desk werden nur das fertige Manuskript und die Bewertungskriterien übergeben, nicht die Schreibabsicht des Autors. Wenn man den eigenen Text im selben Kontext selbst prüft, fällt das Urteil milder aus; deshalb werden Informationen bewusst abgeschirmt, um diesen Bias zu vermeiden.
- Der eigentliche Unterschied dieses Systems liegt nicht darin, wie viele Agents gestartet wurden, sondern in dieser Kontextisolation. Wird ein Text dreimal aus demselben Grund abgelehnt, stoppt der automatische Ablauf und die Entscheidung wird an einen menschlichen Betreiber übergeben.
3. Meta Loop — Mechanismus zur Selbstverbesserung
- Er folgt dem Prinzip: „Denselben Fehler nicht zweimal wiederholen lassen. Gefundene Fehler werden zu Systemregeln erhoben.“
- Wenn derselbe Defekt wiederholt auftritt, wird automatisch eine Änderung der Autorenrichtlinien vorgeschlagen. Der vorgeschlagene Änderungsentwurf durchläuft eine blinde Vergleichsbewertung, bei der verborgen bleibt, welcher Text nach der geänderten Regel geschrieben wurde, sowie Tests mit neuen Fehlerfällen, die nie zuvor zur Validierung verwendet wurden.
- Nur wenn sich der Score tatsächlich verbessert – und zwingend erst nach der finalen Zustimmung eines menschlichen Betreibers – wird die Änderung ins System übernommen.
- Wiederkehrende Hinweise werden zu Python-Hooks oder Korrektoratsregeln erhoben und als Code verankert. Qualitative Beurteilungsbereiche werden in regelbasierte Prüfbereiche überführt, damit der Desk sich dauerhaft auf höherwertige Probleme konzentrieren kann.
4. Reground Loop — Der vierte Loop, der nur für Wissen nötig ist
- Softwarecode bleibt, sobald er gebaut und deployt wurde, bis zur nächsten Spezifikationsänderung in einem stabilen Zustand. Wissensbestände hingegen altern mit der Zeit, weil sich eine Lücke zwischen ihnen und den realen Fakten öffnet.
- Um das zu lösen, wurde als vierter Loop ein Reground Loop ergänzt, der veröffentlichte Dokumente wieder als Eingaben in die Wissensproduktionsfabrik zurückführt. „Reground“ bedeutet, sich erneut auf eine Grundlage zu stellen.
- Update: Wenn sich die ursprüngliche Datenquelle geändert hat. Seiten, die das Prüftool als veraltet identifiziert hat, werden vom Kolumnisten erneut analysiert und aktualisiert. (Folgebericht)
- Follow-up: Wenn es im Dokument Sätze gibt, die „später zu prüfen“ sind oder zeitgebundene Bedingungen enthalten. Wenn die Frist erreicht ist, prüfen Desk und Betreiber erneut. (Nachrecherche)
- Korrektur: Wenn zwischen unseren Seiten Informationskonflikte erkannt werden. Der Desk liest ganze veröffentlichte Dokumenten-Cluster erneut und erkennt Inkonsistenzen, die beim Betrachten einzelner Seiten nicht sichtbar würden. (Korrekturbericht)
Human-in-the-Loop
- Ausnahmesituationen, in denen menschliche Zustimmung erforderlich ist, werden nicht nach Bauchgefühl, sondern über klare Checklisten definiert und verwaltet.
- Derzeit wird das System mit hoher Autonomie, aber bewusst begrenzter Automatisierung betrieben. Agents schreiben Seiten selbstständig, doch Wiki-Veröffentlichungen und Änderungen an Schreibregeln erfordern weiterhin die finale Zustimmung eines Menschen.
Volltext: https://alfadur7.github.io/llm-wiki-newsroom/ko/knowledge-factory/
Noch keine Kommentare.