Open-Interface: Computer mit einem LLM steuern

• Computer kann mit einem OpenAI-API-Schlüssel gesteuert werden.
  • Auf Wunsch können auch andere LLMs verwendet werden. Dabei kann auch LiteLLM helfen.
• Kann mit einem LLM kommunizieren und dessen Anweisungen (Maus-/Tastatureingaben) nachahmen.
• Beispiele:
  • "Löse das heutige Wortpuzzle für mich."
  • "Öffne Google Docs und erstelle einen Mittagsessensplan für mich."
  • "Programmiere mir eine Webanwendung."
• Anweisungen, die Fehlfunktionen verursachen können:
  • Räumliches Schlussfolgern
    • Bearbeitung von Tabellenkalkulationen
  • Komplexe GUI-Anwendungen, bei denen der Mauszeiger unverzichtbar ist
• Geplant:
  • "Erstelle mir mit Garage Band ein paar Bassgitarren-Samples."
  • "Finde mit Sportify den Musikgeschmack meiner Freunde heraus und erstelle eine Playlist für die Party heute Abend."
• Je nach LLM werden Kosten von etwa $0.0005 - $0.002 erwartet.
• Kann durch Drücken des Buttons "Stop" oder durch Bewegen des Cursors in eine Bildschirmecke unterbrochen werden.
• Bei mehreren Monitoren kann es nur innerhalb des Hauptbildschirms arbeiten.