Vibe-Coding mit autonomem FSD

„Klicken“ ist Ihnen sogar schon zu lästig?
Nutzen Sie Claude Code oder die Windows- bzw. Mac-App von ChatGPT Codex und klicken jedes Mal auf „Weiter“? Diese App verfolgt den Workflow der KI in Echtzeit – egal ob auf Mac, Windows oder Linux – und bestätigt automatisch den nächsten Schritt. Entwickler können sich dabei einfach entspannt einen Kaffee gönnen.

Automatische Einrichtung der „Profi-Skills“, die Einsteiger nicht kennen:
Die Falle beim Vibe Coding liegt in den „Einstellungen“. Optimierungsoptionen oder Sicherheitskonfigurationen, die Einsteiger leicht übersehen, schlägt die App selbstständig vor und klickt sie auch direkt an. Während man noch überlegt: „Warum muss ich diesen Button drücken?“, ist der Code praktisch schon fertig.

Unterstützt Interaktionsautomatisierung durch Analyse von Bildschirmpixeln.

1. Kern-Tech-Stack (Tech Stack)
   Framework: Tauri v2 + React (leichtgewichtiges Binary und UI auf Web-Standard-Basis)
   Backend: Rust (Speichersicherheit und Systemsteuerung mit niedriger Latenz)
   Screen Capture: xcap v0.8 (unterstützt Multi-Display und das Scannen bestimmter Bereiche)
   Input Control: enigo v0.6 (Emulation von Maus-/Tastaturereignissen auf Native-Level)
   Image Analysis: image v0.25 (blockbasierte Pixelanalyse und Erkennung bestimmter Farbbereiche)

2. Hauptfunktionen und Funktionsweise
   Automatisierung per Bilderkennung: Über die dedizierte Capture-Bibliothek (xcap) werden Bildschirmbereiche in Echtzeit gescannt und definierte Farbwerte (z. B. Buttons) verfolgt.
   Preset-System: Für wichtige AI-Tools wie Claude Code und ChatGPT Desktop werden vorkonfigurierte Werte bereitgestellt, die auf deren UI-Muster optimiert sind und die Einrichtungszeit komplexer Toolchains verkürzen.
   Nichtinvasive Interaktion: Ohne direkten Zugriff auf API oder Source Code der Ziel-App arbeitet das System unabhängig über Screen Capture und Eingabesteuerung auf OS-Ebene.
   Simulationsmodus: Vor einem echten Mausklick bietet das Tool eine Testumgebung, in der der erkannte Bereich visuell geprüft werden kann, um Fehlfunktionen zu vermeiden.

3. Workflow (How it Works)
   Bereich festlegen: Der Nutzer zieht auf dem Bildschirm den Button-Bereich auf, der automatisiert werden soll, und definiert ihn als Scanbereich.
   Farbabgleich: Mithilfe des image-Crates wird erkannt, ob innerhalb dieses Bereichs Pixel mit einer bestimmten Farbe auftauchen.
   Event-Trigger: Wenn die Bedingung erfüllt ist, bewegt enigo den Mauszeiger zu den entsprechenden Koordinaten und löst ein Klick-Event aus.
   Autonomes Fahren: Immer wenn das AI-Modell Code erzeugt und ein „Bestätigen“- oder „Weiter“-Button erscheint, läuft der Workflow ohne Eingriff des Nutzers weiter.

Nachtschichten beim Coden sind jetzt überholt:
Von der komplexen Umgebungseinrichtung bis zu wiederholten Ausführungstests übernimmt der Modus „Autonomes Fahren FSD“ die Arbeit. Entwickelt wurde das Ganze direkt vom Leiter eines Verlags, der damit Autoren gewinnen wollte – entsprechend trifft das Tool genau die Punkte, an denen Einsteiger am häufigsten ins Stolpern geraten, und löst sie automatisch.

Bleiben Sie nachts nicht wach – gehen Sie einfach schlafen