Die Orchestration Tax

Die „Orchestration Tax“ im Zeitalter der AI-Agenten und der Flaschenhals menschlicher Aufmerksamkeit

Der Beitrag von Addy Osmani behandelt das Problem, dass das gleichzeitige Ausführen mehrerer AI-Agenten nicht zwangsläufig direkt zu höherer Produktivität führt. Agenten können parallel arbeiten, aber das Verstehen, Prüfen und Zusammenführen ihrer Ergebnisse lässt sich auf menschlicher Seite nicht parallelisieren. Der Autor nennt diese Kosten die „Orchestration Tax“. Gemeint sind die versteckten Kosten, die bei der Koordination mehrerer Workflows entstehen. Aus der Perspektive von Delegation lässt sich der Text auch so lesen: Entscheidend ist nicht, möglichst viel zu delegieren, sondern nur so viel, wie man auch wirklich sauber überprüfen kann.

• Kernaussage

  • Das Starten von AI-Agenten ist einfach, aber ihre Ergebnisse zu prüfen und mit anderen Änderungen abzustimmen, ist nicht einfach.
  • Selbst wenn mehrere Agenten laufen, entstehen dadurch nicht „mehrere Versionen von mir“; Bewertung und Zusammenführung müssen am Ende durch die Aufmerksamkeit einer einzelnen Person laufen.
  • Ein Zustand, in dem man sich beschäftigt fühlt, ist nicht dasselbe wie ein Zustand, in dem man tatsächlich produktiv ist.
  • Auch wenn 20 Agenten laufen, bedeutet das nicht automatisch 20 Agenten an tatsächlich auslieferbarer Arbeit.

• Orchestration Tax

  • Der Autor betrachtet die Kosten der Koordination mehrerer Agenten als strukturelles Problem. Es geht nicht einfach um mangelnde Konzentration oder fehlendes Training, sondern um eine Frage des Systemdesigns.
  • Die von Agenten erzeugten Ergebnisse müssen letztlich von Menschen geprüft werden. Dabei sammeln sich Fragen wie Korrektheit, Konsistenz mit der Architektur und Merge-Konflikte bei einer einzelnen Person.
  • Dadurch wird der Mensch in einem AI-Agenten-System zur langsamen seriellen Komponente. Eine serielle Komponente ist der Teil, der nicht mehrere Dinge gleichzeitig verarbeiten kann, sondern sie nacheinander abarbeiten muss.

• Technische Analogie

  • Der Autor vergleicht die Situation mit dem GIL in Python. Das GIL sorgt dafür, dass trotz mehrerer Threads immer nur einer gleichzeitig Python-Code ausführen kann.
  • Agenten können gleichzeitig laufen, aber in dem Moment, in dem echtes Verständnis und Urteil nötig sind, warten sie alle auf dieselbe Sperre: die menschliche Aufmerksamkeit.
  • Außerdem verweist er auf ein Prinzip aus dem Performance Engineering: Der Geschwindigkeitsgewinn durch Parallelisierung wird durch den nicht parallelisierbaren Anteil begrenzt. Auch wenn man mehr Agenten hinzufügt, steigt der Gesamtdurchsatz kaum, wenn sich die Zeit für Bewertung nicht verkürzt.

• Vorteile

  • Agenten können nützlich sein, um unabhängige Aufgaben im Hintergrund zu erledigen.
  • Aufgaben wie das Schreiben von Tests oder das Erzeugen von Screenshots, bei denen Maschinen in gewissem Maß selbst Nachweise liefern können, können die menschliche Last verringern.
  • Wenn man die Ergebnisprüfung bündelt, kann man die Kosten ständiger Kontextwechsel zwischen Aufgaben senken.

• Grenzen und Risiken

  • Mehr Agenten erhöhen nicht die menschliche kognitive Bandbreite, also die Fähigkeit zu verstehen und zu urteilen.
  • Wenn man Agenten häufig kontrolliert, muss man jedes Mal einen anderen Arbeitskontext erneut laden, was die Ermüdung verstärken kann.
  • Wenn die Prüfung oberflächlich wird, besteht die Gefahr, von Agenten erzeugten Code zu übernehmen, ohne ihn wirklich zu verstehen.
  • Wenn diese Kosten nicht sauber gemanagt werden, können sich technische Schulden und kognitive Schulden zugleich aufbauen. Technische Schulden sind später schwer zu korrigierende Lasten im Code, kognitive Schulden bezeichnen den Zustand, in dem Entwickler Änderungen anhäufen, ohne das System wirklich zu verstehen.

• Unterscheidungsmerkmal

  • Der Fokus des Textes liegt weniger auf der Leistungsfähigkeit von AI-Agenten selbst als auf menschlicher Aufmerksamkeit.
  • Produktivität sollte nicht an der Zahl gestarteter Agenten gemessen werden, sondern an der Menge an Arbeit, die tatsächlich geprüft, zusammengeführt und auslieferbar ist.
  • Charakteristisch ist auch der Blick auf den Menschen nicht als externen Aufseher des Systems, sondern als begrenzte Ressource innerhalb des parallelen Systems.

• Praktische Ausrichtung

  • Die Größe des Agenten-Setups sollte sich nicht danach richten, wie viele Fenster oder Tools anzeigen können, sondern danach, in welchem Tempo man Ergebnisse wirklich sauber reviewen kann.
  • Aufgaben sollten aufgeteilt werden. Isolierte Aufgaben kann man Hintergrund-Agenten überlassen; bei seltsamen Bugs oder Architekturdesign, wo Urteil zentral ist, ist Parallelisierung eher keine gute Idee.
  • Menschliche Aufmerksamkeit sollte für Urteile reserviert werden, während Agenten bei maschinell überprüfbaren Teilen zuerst Tests oder Belege liefern sollten.
  • Delegation ist an diesem Punkt nur in engem Rahmen sinnvoll. Wichtiger als die Fähigkeit, viel zu delegieren, ist die Fähigkeit zu unterscheiden, was delegiert werden kann und was man selbst beurteilen muss.

Der Text macht deutlich, dass der Flaschenhals bei der Nutzung von AI-Agenten nicht in der Ausführung, sondern in Review und Urteilsbildung liegen kann. Mehrere Agenten zu starten ist leichter geworden, aber die Verantwortung, ihre Ergebnisse belastbar zu übernehmen, liegt weiterhin beim Menschen. Produktivität entsteht daher nicht primär dadurch, mehr Agenten zu starten, sondern dadurch, die eigene Aufmerksamkeit als wichtige Systemressource zu behandeln und Arbeit daran auszurichten. Für Delegation gilt dasselbe Prinzip: Nicht möglichst viel abgeben ist entscheidend, sondern nur so viel, wie man innerhalb des eigenen Urteilsvermögens wirklich verantworten kann.

[jjpark78]

Das spüre ich in letzter Zeit auch: Wenn ich 10–20 Aufgaben gleichzeitig laufen lasse, zurückkomme und sie dann nacheinander überprüfe, gelingt mir der Kontextwechsel nicht, sodass ich mich frage: Worum ging es hier noch mal?? und mein Gedächtnis wieder hervorholen muss..

[j2sus91]

Bei serieller Arbeit wird menschliche Verifikation und Prüfung zwangsläufig zum Engpass.

Letztlich muss der Workflow also auf die parallele Verarbeitung durch Agenten übergehen,
doch die menschliche kognitive Leistungsfähigkeit hat ihre Grenzen.

Es scheint, als sei die Zeit gekommen, in der der Aufbau von Verifikationsschleifen der Schlüssel zu Qualität und zur Vermeidung von Zwischenfällen ist.
Dabei reicht nicht nur menschliche Prüfung aus; auch Agenten müssen sich gegenseitig kontrollieren, damit die Verifikationsschritte robust werden.