OpenAI Codex Record & Replay: Einmal vorführen, dann als wiederverwendbares Skill nutzen

• Record & Replay ist eine Funktion, bei der Codex auf dem Mac einen vom Nutzer direkt ausgeführten Workflow beobachtet und daraus ein wiederverwendbares Skill erstellt
• Geeignet ist sie für wiederkehrende Aufgaben, für Arbeiten, bei denen Präferenzen und Regeln des Nutzers wichtig sind, oder für Fälle, in denen es einfacher ist, etwas direkt zu zeigen, als es per Prompt zu erklären
• So lassen sich etwa Aufgaben wie Spesenabrechnung, Parkplatzreservierung, Issue-Erstellung, Videoveröffentlichung oder das wiederholte Herunterladen von Reports aufzeichnen und als Skill speichern
• Das erstellte Skill kann später in einem neuen Thread erneut aufgerufen werden; dabei müssen nur die jeweils wechselnden Werte wie Dateien, Datumsbereiche oder Issue-Inhalte übergeben werden
• Derzeit ist die Funktion auf macOS verfügbar, Computer Use muss aktiviert sein, und in den anfänglichen Bereitstellungsregionen sind der EEA-Raum, das Vereinigte Königreich und die Schweiz ausgeschlossen

---

Zweck von Record & Replay

• Wenn ein Nutzer einen bereits bekannten Arbeitsablauf Codex einmal vormacht, lernt Codex dieses Muster und fasst es als Skill zusammen
• Dieses Skill enthält, wann es verwendet werden soll, welche Eingaben nötig sind, welche Schritte zu befolgen sind und wie das Ergebnis geprüft werden soll
• Es ist weniger ein einfaches Automatisierungsskript als vielmehr eine Methode, mit der Codex die tatsächliche Arbeitsweise und verborgene Präferenzen des Nutzers als wiederverwendbaren Kontext speichert

Geeignete Aufgaben

• Es eignet sich für Aufgaben mit stabilen Schritten und klaren Erfolgskriterien
• Besonders passend ist es für Tätigkeiten, die sich immer ähnlich wiederholen, bei denen aber einzelne Eingabewerte variieren
• Auch UI-basierte Aufgaben, die sich nur schwer ausführlich in natürlicher Sprache beschreiben lassen, können direkt vorgeführt werden
• Beispiele:
  • Einreichen von Spesenbelegen
  • Reservierung eines Parkplatzes
  • Erstellen eines Issues in festem Format
  • Veröffentlichen eines Videos
  • Regelmäßiges Herunterladen von Reports

So startet man die Aufzeichnung

• In der Codex-App Plugins öffnen und das Menü + auswählen
• Record a skill auswählen
• Den von Codex vorgeschlagenen Prompt prüfen, nötigen Kontext ergänzen und absenden
• Wenn Codex um Berechtigung zur Aufgabenaufzeichnung bittet, diese bestätigen
• Den tatsächlichen Workflow auf dem Mac ausführen
• Wenn die Aufgabe beendet ist, die Aufzeichnung über die Menüleiste, das Overlay oder durch Mitteilung an Codex stoppen

Verhalten während der Aufzeichnung

• Während der Aufzeichnung beobachtet Codex die Nutzeraktionen und Fensterinhalte, die zum Erlernen des Workflows erforderlich sind
• Die Aufzeichnung läuft weiter, bis der Nutzer sie selbst stoppt
• Daher sollte man sich bei der Aufzeichnung nur auf die Aufgabe konzentrieren, die Codex lernen soll
• Werden auch nicht zusammenhängende Aufräumarbeiten oder nachgelagerte Aktionen mit aufgezeichnet, kann das Skill unnötig komplex werden

Skill-Erstellung und Bearbeitung

• Nach dem Stoppen der Aufzeichnung analysiert Codex den erfassten Workflow und erstellt einen Skill-Entwurf
• Im Skill werden Einsatzbedingungen, erforderliche Eingaben, Ausführungsschritte und die Methode zur Ergebnisprüfung zusammengefasst
• Anschließend kann man Codex bitten, das Skill weiter zu verfeinern
• Vor allem verborgene Präferenzen wie Dateinamensregeln, Standardfeldwerte oder Auswahlkriterien sollten nach der Aufzeichnung ausdrücklich ergänzt werden

Workflow erneut ausführen

• In einem neuen Thread Codex anweisen, das erstellte Skill zu verwenden
• Es genügt, nur die Werte zu übergeben, die sich bei diesem Durchlauf ändern
  • hochzuladende Datei
  • zu erstellender Issue-Inhalt
  • Datumsbereich des Reports
  • Veröffentlichungsziel
• Codex nutzt das Skill als wiederverwendbaren Kontext und führt die Aufgabe mit den im aktuellen Umfeld verfügbaren Tools aus
• Die Ausführung kann Computer Use, Browser-Aktionen und installierte Plugins kombinieren

Tipps für bessere Aufzeichnungen

• Die Vorführung sollte kurz und in sich abgeschlossen sein
• Es ist sinnvoll, Codex vor der Aufzeichnung das Ziel und die Eingabewerte mitzuteilen, die sich jedes Mal ändern können
• Man sollte realitätsnahe Eingaben verwenden, aber geheime Informationen oder sensible Daten vermeiden
• Nach der Aufzeichnung ist es hilfreich, beim Verfeinern des Skills verborgene Präferenzen wie Benennungsregeln, Standardwerte oder Entscheidungskriterien hinzuzufügen
• Sobald der Workflow abgeschlossen ist, sollte die Aufzeichnung direkt gestoppt und keine nicht relevanten Nacharbeiten einbezogen werden

Wann ein separates Plugin sinnvoll ist

• Record & Replay ist eine schnelle Methode, um ein Skill zu erstellen
• Wenn es sich um ein Paket handelt, das stabil für ein ganzes Team bereitgestellt werden soll, ist ein separates Plugin besser geeignet
• Wenn mehrere Skills gebündelt, App-Integrationen einbezogen, ein MCP-Server ergänzt oder Installationsmetadaten verwaltet werden müssen, ist eine Paketierung als Plugin sinnvoller

Fehlerbehebung

• Wenn Record & Replay nicht sichtbar ist, sollte die Einstellung requirements.toml der Organisation geprüft werden
• Wenn unter [features].computer_use computer_use = false gesetzt ist, werden sowohl Computer Use als auch Record & Replay deaktiviert

---

Dies ist eine von ChatGPT im Stil von GN+ zusammengefasste Fassung.
Ich habe es selbst kurz ausprobiert, und es hat das überraschend gut zu einem Skill verarbeitet.