54 Punkte von GN⁺ 26 일 전 | 4 Kommentare | Auf WhatsApp teilen
  • Fünf Ideen verstärken sich als zentrale Veränderungen im AI-Zeitalter gegenseitig: autonome Verbesserung von Komponenten, Intent-Based Engineering, der Wandel zu Transparenz, das Erkennen von Scaffolding und die Verbreitung von Expertise. Zusammen gestalten sie die Arbeitsweise jeder Organisation grundlegend um
  • Inspiriert vom Autoresearch-Projekt von Karpathy kann ein Zyklus, der Zielzustände definiert und automatisch bewertet sowie verbessert, über die ML-Forschung hinaus auf Sicherheit, Consulting, Recruiting und praktisch alle anderen Bereiche ausgeweitet werden
  • Nicht Coding oder Prompting, sondern die Fähigkeit, gewünschte Ergebnisse klar als überprüfbare Kriterien auszudrücken, wird zu einer neuen Kernkompetenz im Engineering
  • Während AI reale Kosten, Qualität und Prozesse innerhalb von Organisationen sichtbar macht, zeigt sich, dass 75–99 % der Wissensarbeit aus Scaffolding (Nebentätigkeiten) bestand
  • Wenn Wissen, das bisher nur im Kopf von Expert:innen existierte, in Skills, SOPs und Kontextdateien extrahiert wird, entsteht ein irreversibler Ratchet-Effekt, bei dem alle AI-Instanzen gleichzeitig lernen

1. Autonome Komponentenoptimierung (Autonomous Component Optimization)

  • Das Autoresearch-Projekt von Karpathy ist ein typisches Beispiel, das dieses Konzept konkret macht: Gibt man Ideen in die Datei PROGRAM.md ein, übernimmt das System mühsame Aufgaben wie das Tuning von Modellparametern und die Konfiguration der Umgebung automatisch und erzielt durch ML-Optimierung bessere Ergebnisse als bisher
  • Autoresearch breitet sich über ein einzelnes Projekt hinaus als Paradigma „Autoresearch for X“ aus, und Menschen aus verschiedensten Bereichen prüfen, wie sich derselbe Ansatz auf ihre eigenen Projekte anwenden lässt
  • In Verbindung mit den Konzepten general verifiability oder generalized hill-climbing entsteht eine Struktur, in der alle Ergebnisse anhand von Kriterien für einen Idealzustand zerlegt und automatisch verbessert werden
  • Daran knüpft das Konzept Evals for everything an: Der Kern ist, dass alles nicht nur messbar, sondern auch verbesserbar wird
    • Die Grundlage dafür ist Transparenz

Universeller Verbesserungszyklus (Universal Improvement Cycle)

  • Ein Zyklus, der zum Standardbetriebsmodell für alle Unternehmen, Organisationen, Regierungen und Einzelpersonen werden könnte:
    • Ziele in Mission, Ziele, Workflows und SOPs strukturieren
    • Agenten führen die Workflows aus
    • Outputs, Gespräche, Ergebnisse und Qualität werden umfassend geloggt
    • Fehler, Ausfälle und Qualitätsprobleme fließen in die Problem-Sammelstelle der jeweiligen Organisation
    • Ein Self-Improvement-Algorithmus holt die Daten aus dieser Problem-Sammelstelle und führt nach dem Autoresearch-Prinzip Problemlösung, Experimente, Verifikation und Optimierung durch
    • Nach Prüfung der Änderungen werden die SOPs aktualisiert und der Zyklus wiederholt
  • Der Kern dieses Zyklus: Ziel-Mapping → Agentenausführung → vollständiges Logging → Fehlersammlung → autonome Verbesserung → SOP-Update → Wiederholung, wobei sich die Geschwindigkeit mit jeder Runde erhöht

2. Der Wandel zu Intent-Based Engineering

  • Die eigentliche Stärke von AI liegt darin, vom aktuellen Zustand zu einem Idealzustand zu gelangen, doch davor muss die Fähigkeit stehen, klar zu artikulieren, was man tatsächlich will
  • Das Problem der articulation gap ist gravierend: Fragt man einen CEO nach einem idealen Sicherheitsprogramm, bleibt es bei Gesten; fragt man ein Team Lead, was „fertig“ bedeutet, erhält man einen Absatz, den drei Personen auf drei verschiedene Arten interpretieren
    • Diese Lücke existiert nicht nur zwischen Expert:innen und AI, sondern auch zwischen Führungskräften und ihrer eigenen Organisation
  • Als konkrete Methode werden alle Anforderungen in 8 bis 12 Wörter lange, diskrete und testbare Kriterien eines Idealzustands zerlegt und mit einer binären Bewertung (pass/fail) versehen
    • Sind diese Kriterien vorhanden, werden hill-climbing, Bewertung und automatische Verbesserung überhaupt erst möglich
  • Die neue zentrale Engineering-Kompetenz ist weder Coding noch Prompting, sondern die Fähigkeit, Absichten so klar auszudrücken, dass sie überprüfbar sind

3. Vom Wandel von Intransparenz zu Transparenz (Opacity to Transparency)

  • Unternehmen wussten bislang oft nicht wirklich, was intern geschieht: die tatsächlichen Prozesskosten, der Zeitaufwand, die Qualität der Ergebnisse oder auch die Unterscheidung zwischen den eigentlichen Ausführenden und denjenigen, die Nebentätigkeiten erledigen
  • Die meisten Organisationen wurden bisher mit „vibes und Spreadsheets“ gesteuert, doch AI verwandelt reale Arbeit, Kosten und Qualität in etwas, das auf eine zuvor unmögliche Weise messbar wird
  • Sobald Transparenz vorhanden ist, wird Verbesserung möglich, und das gilt für jede Form von Organisation – Unternehmen, Regierungen oder kleine Teams
  • Das Erste, was Transparenz sichtbar macht: Der Großteil der Arbeit war gar nicht die eigentliche Arbeit

4. Der Großteil der Arbeit ist Scaffolding (Most Work is Scaffolding)

  • Eine durch AI sichtbar gewordene Erkenntnis: 75–99 % der Wissensarbeit sind Scaffolding-Overhead
    • Bei Sicherheitstests, Entwicklung, Consulting und vielen anderen Tätigkeiten geht der Großteil der Zeit für Tool-Wartung, Workflows, Templates und das Management von Wissensdatenbanken drauf
    • Wirklich anspruchsvolles Denken (hard thinking) leisten sehr wenige Menschen in sehr wenig Zeit
  • AI ist beim Scaffolding-Teil überragend stark: Wenn Kontext, Methodik und Tools als Agent Skills paketiert werden, kann AI den Großteil davon auf Expertenniveau oder darüber ausführen
  • Nicht die Arbeit selbst war schwierig, sondern das Aufrechterhalten des Scaffoldings

5. Die Verbreitung von Expertise als öffentliches Wissen (Expertise Diffusion)

  • Die articulation gap beschreibt die große Lücke zwischen dem, was Expert:innen wissen, und dem, was dokumentiert ist
    • Beispiel: Wenn der 62-jährige Mitarbeiter „Cliff“, der alles weiß, aber nichts dokumentiert hat, in Rente geht, verschwindet dieses Wissen
  • Fachwissen wird derzeit in Skills, SOPs, Kontextdateien und Open-Source-Projekten verteilt gespeichert; einmal extrahiertes Wissen lässt sich nicht wieder entfernen
    • Verglichen mit „Urin im Schwimmbecken“: veröffentlichte Skills, dokumentierte Prozesse und Expert:innen-Debriefings gelangen dauerhaft in die kollektive Wissensbasis
  • Es entsteht ein irreversibler Ratchet-Effekt (one-way ratchet): Menschen brauchen 20 bis 30 Jahre, um in einem Bereich tiefe Expertise aufzubauen, vergessen Dinge wieder und gehen in Rente; AI dagegen nimmt erfasstes Expertenwissen sofort auf, vergisst es nie und ist unendlich reproduzierbar
  • Die Lücke zwischen der Geschwindigkeit, mit der Menschen Expertise aufbauen, und der Geschwindigkeit, mit der AI Expertise aufbaut, wächst täglich

Implikationen

Autonome Verbesserung verändert das Tempo in allen Bereichen

  • Sobald sich Idealzustände definieren, messen und automatisiert iterieren lassen, wird aus monatelangem manuellem Tuning etwas, das über Nacht erledigt ist
  • Das gilt nicht nur für ML-Forschung, sondern für Sicherheitsprogramme, Consulting-Ergebnisse, Content-Pipelines, Recruiting-Prozesse und alles, was einen definierbaren Idealzustand hat
  • Alle Organisationen werden denselben Zyklus betreiben (Ziel-Mapping → Agentenausführung → Logging → Fehlersammlung → autonome Verbesserung → SOP-Update), und wer ihn zuerst einführt, schafft durch Zinseszinseffekte einen uneinholbaren Vorsprung

Absicht wird zum Bottleneck

  • Die neue knappe Fähigkeit ist nicht Coding oder Prompting, sondern die Fähigkeit, klar zu sagen, was man will
  • Die Qualität von Ideen ist weiterhin am wichtigsten, und an zweiter Stelle steht die Fähigkeit, diese Ideen auszudrücken, zu definieren und die gesamte Organisation darauf auszurichten
  • Die meisten Führungskräfte und Unternehmen können das noch nicht; Organisationen, die das zuerst lösen, können alle Optimierungstools auf die tatsächlichen Ziele ausrichten

Alles wird transparent

  • Es findet ein Wandel statt von intransparenten vibes zu transparenten und optimierbaren Komponenten, wodurch Betrüger und Gatekeeper immer weniger Verstecke haben
  • Auch im Wettbewerb zwischen Produkten und Services werden Agenten nicht mehr Marketing-Copy oder Kundenempfehlungen akzeptieren, sondern echte, überprüfbare Leistungsdaten verlangen; wer diese nicht liefern kann, fällt aus dem Wettbewerb

Die Kommodifizierung von Scaffolding (Commoditization)

  • Was bislang als Expertise in einem bestimmten Bereich galt, erweist sich in Wahrheit oft als Scaffolding, das die meisten Menschen schlicht nicht verstanden haben
    • Beispiel: das Einrichten und Warten bestimmter Entwicklungsumgebungen, aber auch Nebentätigkeiten in hochbezahlten Berufen wie Recht oder Consulting

Fachwissen wird zu öffentlicher Infrastruktur

  • Wissen, das früher nur Expert:innen besaßen, wird bald allen zur Verfügung stehen, insbesondere der AI
  • Ein Vorsprung von 50 Jahren Erfahrung in einem bestimmten Feld wird nicht lange halten, weil dieses Wissen entweder von der betreffenden Person selbst oder von Kolleg:innen weltweit extrahiert wird

Kernaussagen und Fazit

  • Alle fünf Ideen interagieren miteinander und verstärken sich gegenseitig
  • Nicht nur verschiedene Komponenten lassen sich verbessern, sondern auch die Geschwindigkeit der Verbesserung selbst wird verbessert
  • Alle Unternehmen, Regierungen und Organisationen werden auf denselben Zyklus zulaufen (Zieldefinition → Agentenausführung → vollständiges Logging → Fehlersammlung → Verbesserung des Systems selbst), und die Organisation, die diesen Punkt zuerst erreicht, schafft durch Zinseszinseffekte einen Vorsprung, den der Rest nicht mehr aufholen kann

4 Kommentare

 
softer 24 일 전

Sauber zusammengefasst, aber letztlich bleibt die Arbeit dieselbe und geändert hat sich nichts; am Ende läuft es darauf hinaus: Lasst uns Wissen teilen, damit auch ich mit AI arbeiten kann.

 
hanje3765 25 일 전

Es muss nachvollziehbar bleiben, mit welcher Absicht man damals den Code geschrieben hat.

Mit der Zeit bleibt sonst nur noch die Frage: Zu welchem Zweck habe ich das so implementiert..?

 
geekpi 25 일 전

Man weiß es erst, wenn man es ausprobiert: Nur unzugängliche Daten sind ein Burggraben.

 
runableapp 25 일 전

Vielleicht ist mein Verständnis schwach, aber ehrlich gesagt weiß ich nicht genau, was damit gesagt werden soll.