Skyvern – Browser-Workflow-Automatisierung mit LLMs und Computer Vision

• Herkömmliche Browser-Automatisierung erforderte das Schreiben von Skripten auf Basis von DOM-Parsing oder XPath, die bei jeder Änderung einer Website leicht kaputtgingen
• Skyvern löst dieses Problem, indem es Elemente im Viewport in Echtzeit parst, einen Plan erstellt und durch Interaktion mit der Website handelt
  • Da visuelle Elemente mit Aktionen verknüpft werden, funktioniert es auch auf bislang unbekannten Websites
  • Reagiert gut auf Änderungen im Website-Layout
  • Kann dank Schlussfolgerungen mit LLMs auch komplexe Situationen bewältigen
• Inspiriert vom Design taskgetriebener autonomer Agenten, das durch BabyAGI und AutoGPT populär wurde, und ergänzt um die Fähigkeit, mit Browser-Automatisierungsbibliotheken wie Playwright mit Websites zu interagieren
• Zusätzlich wird eine gemanagte Skyvern-Cloud-Version angeboten, mit der sich mehrere Skyvern-Instanzen parallel ohne Infrastrukturverwaltung ausführen lassen, um Workflows im großen Maßstab zu automatisieren
• Erforderlich sind Python 3.11, Brew (für Mac-Nutzer), Poetry und PostgreSQL 14