Show HN: Autotab – KI-basierte Chrome-Erweiterung zur Erstellung von Selenium-Skripten

• Autotab ist eine KI-basierte Chrome-Erweiterung, die Aufgaben im lokalen Browser ausführt und auch auf die Erstellung von Selenium-Skripten abzielt
• Nutzer können Arbeitsabläufe per Videonachricht oder Dokument vermitteln und Autotab Aufgaben so beibringen, als würden sie sie einem Menschen erklären
• Wird in Fortune-500-Unternehmen und schnell wachsenden, technologieorientierten Unternehmen eingesetzt, um Engpässe bei Recruiting, Onboarding und Verwaltung zu reduzieren
• Der Einsatzbereich ist breit und umfasst browserbasierte, wiederkehrende Aufgaben wie Datenerfassung, das Ausfüllen von Formularen, das Versenden von Nachrichten und das Auslösen von Rückerstattungen
• Wenn unklar ist, ob eine Aufgabe verarbeitet werden kann, kann man eine Aufzeichnung der Aufgabe senden und erhält innerhalb von 24 Stunden eine Antwort; Unternehmen, die eine Alternative zu BPO prüfen, können separat Kontakt aufnehmen

---

Lernen und Ausführen im lokalen Browser

• Autotab ist ein universeller KI-Agent, der Aufgaben, die Nutzer ihm übertragen, auf eine Weise lernt und ausführt, die der menschlichen Arbeitsweise nahekommt
• Die Aufgaben laufen im lokalen Browser des Nutzers, und der Nutzer kann sehen, was Autotab ausführt
• Bestimmte Arbeitsabläufe lassen sich wie bei einer Übergabe an einen Menschen vermitteln

  • Schulung per Videonachricht und Dokumenten

    • Arbeitsabläufe können per Videonachricht oder vorbereiteten Dokumenten erklärt werden
    • Auch komplexe Workflows werden in einer Struktur vermittelt, die der Art entspricht, wie Menschen Arbeit erklären

Wiederkehrende Aufgaben, auf die Unternehmen abzielen

• Autotab ist in Fortune-500-Unternehmen und technologieorientierten Unternehmen im Einsatz, die schnell skalieren müssen
• Als zentrale Use Cases gelten Situationen, in denen Recruiting, Onboarding und Verwaltungsaufgaben nicht mit dem Wachstumstempo Schritt halten können
• Beispiele für ausführbare Aufgaben sind:
  • Datenerfassung: Leads finden, Informationen für Berichte sammeln, vollständige Systemmigrationen
  • Formulareingabe: Daten in Regierungsformulare, interne Admin-Apps sowie Vendor-Systeme wie ERP, RMS und TMS eingeben
  • Aktionen ausführen: Nachrichten auf beliebigen Plattformen versenden, Rückerstattungen auslösen und andere kontextbezogene Maßnahmen durchführen

Kontakt und Prüfung der Einsatzfähigkeit

• Wer nicht sicher ist, ob eine Aufgabe verarbeitet werden kann, kann eine Aufzeichnung der Aufgabe an [e-mail] senden und erhält innerhalb von 24 Stunden eine Antwort
• Unternehmen, die BPO auf andere Weise ersetzen möchten, können sich an [e-mail] wenden

[GN⁺]

Hacker-News-Meinungen

• Als jemand, der das Selenium-Projekt entwickelt hat, glaube ich, dass Testautomatisierung eine der Killer-Apps für KI werden wird.
  Ich frage mich, wie sichergestellt wird, dass die KI im generierten Code keine Details halluziniert.

  • Derzeit gibt es als grundlegende Schutzmaßnahme eine Prüfung, ob Seleniums XPath genau ein Element im DOM auswählt.
    Künftig scheint es am besten, eine Live-Vorschau anzubieten, bei der ein gespiegelter Browser die letzte Aktion exakt nachahmt, sodass man sofort debuggen kann, wenn ein Fehler auftritt oder etwas nicht der Absicht entspricht.

• Ich versuche, meine Agenten-System-Web-App sinnvoll zu automatisieren. Es fühlt sich rekursiv an, als würde Automatisierung Automatisierung bearbeiten.
  Um ein wenig Eigenwerbung zu machen: https://github.com/agi-merge/waggle-dance
  Normalerweise nutze ich Chrome nicht, aber ich verstehe, warum ihr mit Chrome angefangen habt. Trotzdem fände ich auch eine Version für Firefox oder Safari gut.

  • Ich habe mir waggledance.ai angesehen; was es kann, wirkt cool und interessant.
    Abgesehen von der gut gemachten UI frage ich mich allerdings, was waggledance leistet, das eine GPT-4-Antwort nicht bietet.
    Nach meiner Erfahrung ist die Art, wie Aufgaben erstellt und zerlegt werden, ziemlich ähnlich zu dem, was man bekommt, wenn man ChatGPT fragt.
  • Unterstützung für andere Browser ist irgendwann definitiv geplant.

• Ich habe einmal selbst Selenium-Skripte geschrieben, um die Arbeit meines Vaters zu automatisieren. Zum Beispiel ging es darum, Namen aus einer Tabelle zu nehmen, sie in das Suchfeld einer Website einzugeben und dieselbe Aktion für Hunderte von Personen zu wiederholen; das hat viel Zeit gespart.
  Wenn man Browserautomatisierung einfacher machen kann, indem man sie der Maschine einfach direkt vormacht, dürfte das das Leben vieler Menschen deutlich erleichtern. Ich möchte es deshalb schnell ausprobieren.

  • Bei solchen Dingen zu helfen, passt gut zu der Richtung, die wir uns erhoffen. Ich würde gern hören, wie es sich nach dem Ausprobieren anfühlt; falls du sprechen möchtest, steht meine E-Mail im Profil.

• Ich würde das gern auf einem Server betreiben und über BrowserBox bereitstellen, damit man Automatisierungen auch auf Mobilgeräten erstellen kann.
  Der ursprüngliche Grund für BrowserBox war ebenfalls eine Bereitstellungsplattform für ein Tool zum Erstellen von Web-Scraping, das nicht an Erweiterungen gebunden ist. Weil aus dem Remote-Browser selbst dann ein Produkt wurde, bin ich aber noch nicht bis zum Automatisierungs-Authoring-Tool gekommen.
  Danke, dass ihr das gebaut und unter MIT veröffentlicht habt. Ich sehe KI-ergänztes, menschlich angeleitetes Web-Scraping-Authoring als die Zukunft dieses Bereichs.
  Auch der Name ist gut: autotab.
  Da ich mein bald erscheinendes BrowserBox-SaaS Cloudtabs nenne, gibt es sogar ein bisschen „Synergie“.
  https://github.com/BrowserBox/BrowserBox

  • BrowserBox sieht cool aus, aber allein aus dem README war schwer zu erkennen, welche Browser-Engine es verwendet. Ich frage mich, ob ihr sie selbst gebaut habt.

• Wir bauen unter https://ray.run/ fast genau dasselbe für Playwright. Ich habe keinen Zweifel, dass die Zukunft des Testschreibens in diese Richtung geht, und der Launch ist für nächste Woche geplant.
  Der Ansatz scheint etwas anders zu sein. Wir verwenden das LLM nur zur Elementerkennung; der eigentliche Generator wird mit https://ray.run/browser-extension gebaut.

  • Wenn Besucher prefers-reduced-motion gesetzt haben, solltet ihr den animierten Hintergrund deaktivieren.
    Oder ihr schaltet ihn einfach generell aus. Er ist ziemlich störend.

• Ich frage mich, worin der Unterschied zu Chromes Recorder-Funktion besteht.
  In DevTools > Recorder kann man User Journeys aufzeichnen und als Puppeteer-Skript ausgeben.

  • Der größte Unterschied dürfte sein, dass autotab Python-Skripte ausgibt. Das lässt sich leichter in bestehende Python-Codebasen integrieren.
    Ich denke, dass sich künftig dank der Flexibilität von Python-Code und des Ökosystems leichter mehr Funktionen bauen lassen. Browserbasierte Aufgaben sind zum Beispiel nicht vollständig deterministisch, und während der Automatisierung braucht man oft mehr Intelligenz, etwa um Informationen auf einer Webseite zusammenzufassen oder dynamisch passende Antworten in Textfelder einzutragen.

• Durch die YC-Investition habe ich erfahren, dass es sich um den Gründer von https://www.ztool.co handelt. Ich frage mich, ob das ein Pivot ist oder ein Produkt, das ztool ergänzt.

  • Das ist definitiv eher ein Pivot. Allerdings hat auch das ZTool-Produkt selbst im Laufe der Zeit einige größere Veränderungen durchgemacht.
    Was wir in den letzten Monaten beim Bauen und in Gesprächen mit Nutzern gelernt haben, lässt sich in zwei Gründe zusammenfassen, warum wir autotab machen.
    Erstens ist KI-generierte Software noch nicht bereit für nichttechnische Nutzer. Bei ZTool haben wir uns darauf konzentriert, es Menschen ohne Programmierkenntnisse leicht zu machen, Automatisierungen zu erstellen; inzwischen glauben wir aber, dass Modell-Ausgaben besser Code sein sollten. Deshalb konzentriert sich autotab auf Nutzer, die Python-Code überprüfen und ändern können.
    Zweitens ist die Art der Intent-Übermittlung wichtig. Von „Diese Aufgabe ist lästig“ zu einer strukturierten Darstellung zu kommen, kostet überraschend viel mentale Anstrengung. KI-Demos konzentrieren sich darauf, Intent mit kurzen Prompts zu vermitteln, aber in komplexen Bereichen funktioniert das nicht gut. Intent über den Browser zu vermitteln, wirkt sehr intuitiv und vertraut und scheint deshalb mächtig zu sein.

• Es heißt, man solle „eine von Selenium gesteuerte Chrome-Session ausführen und sich dann bei Google anmelden“. Ich frage mich, warum Google-Login eine Voraussetzung ist.

  • Wir haben das inzwischen geändert: Man kann unter autotab.com/dashboard einen API-Key erhalten und sich beim Ausführen von autotab record allein mit diesem Key authentifizieren. Man muss sich nicht mehr im Selenium-Browser bei Google anmelden.
  • Derzeit erlauben wir für den Login bei autotab selbst nur Google-Login, werden aber bald auch Benutzername/Passwort-Login und andere Optionen hinzufügen.
    Je nach Feedback könnten wir auch eine Option bauen, bei der Nutzer ihren eigenen OpenAI API-Key mitbringen.

• Ich frage mich, ob man Workflows oder Makros aufzeichnen kann, die sich wie Tastenkürzel in einem geöffneten Browserfenster nutzen lassen, oder ob es auf Automatisierungsprozesse beschränkt ist, die ein Browserfenster öffnen und einige Aktionen ausführen.
  Wenn beispielsweise mehrere Tabs geöffnet sind und jeder Tab dasselbe Element hat, etwa den Vollbild-Button von YouTube, würde ich gern wissen, ob man mit Autotab etwas wie „Vollbild beenden, zum nächsten Tab wechseln, das Video auf dieser Seite in den Vollbildmodus schalten“ aufzeichnen kann.

  • Wenn du YouTube-Videos immer innerhalb einer Browser-Instanz öffnest, die ein autotab-Skript gestartet hat, ist das bis zu einem gewissen Grad möglich; kurz gesagt: Im Moment ist es aber schwierig.
    Solche Makros sind sehr interessant, und wir haben viel darüber gesprochen, wie Browser für diese Art von KI und Automatisierung gestaltet werden könnten.
  • Ich würde gern wissen, welche Makros du definieren möchtest. Das ist ein Bereich, über den wir mehr lernen wollen.

• Um das so nützlich wie möglich zu machen, müsste ein LLM mit einem Regelwerk die dynamische Situation einer Seite interpretieren und entsprechend handeln können.
  Wenn man zum Beispiel etwas in den Warenkorb legen will und das LLM anhand einer Regel erkennt, dass es ausverkauft ist, führt es eine andere Aktion aus.
  Ich frage mich, ob solche LLM-ergänzte, regelbasierte Verzweigungslogik künftig in dieser Software möglich sein wird.

  • Ich stimme sehr zu, und wir arbeiten gerade aktiv daran.
    Es gibt zwei interessante Fragen: 1) Welches Format ist für Nutzer am effektivsten, um ihren Intent zu vermitteln? Vielleicht ist es gar nicht Point-and-Click. 2) Entscheidend ist, wie man Modell-Ausgaben so darstellt, dass sie prüfbar und editierbar sind.