Notizen zu Claudes neuem Analysis-Tool für die Ausführung von JavaScript-Code

• Anthropic hat das "Analysis Tool" für die Chatbot-Oberfläche von Claude.ai veröffentlicht
• Das Tool ähnelt dem Code-Interpreter-Modus von OpenAI ChatGPT und ermöglicht es Claude, Code zu schreiben und auszuführen und die Ergebnisse im Gespräch zu nutzen
• Nutzer können diese Funktion auf der Claude-Feature-Flag-Seite aktivieren

So funktioniert die Ausführung von JavaScript-Code

• Der ChatGPT-Code-Interpreter und Google Gemini arbeiten, indem sie Python-Code schreiben und ihn auf einem sicheren Sandbox-Server ausführen
• Claude verwendet statt Python JavaScript und führt es direkt im Browser aus
• Es läuft in einem eingeschränkten Web Worker und kommuniziert über das Abfangen von console.log()-Meldungen mit der Hauptseite
• Es ist als Tool namens repl implementiert, und man kann Claude per Prompt nach der Beschreibung der repl-Funktion fragen

repl

• repl ist ein JavaScript-REPL
• Es wird für komplexe Mathematikaufgaben oder die Analyse großer Nutzerdateien verwendet
• Mit der Funktion fs.readFile() können Daten aus freigegebenen Dateien gelesen werden
• Bibliotheken wie Lodash und Papa Parse können verwendet werden
• Es ist keine Node.js-Umgebung, und es muss eine React-ähnliche import-Syntax verwendet werden
• Die Interaktion zwischen dem Analysis-Tool und Claude Artifacts ist etwas verwirrend
  • Der Code des Analysis-Tools teilt keine gemeinsame Umgebung mit Artifacts
  • Um den Code des Analysis-Tools in einem Artifact wiederzuverwenden, muss der gesamte Code erneut geschrieben werden
• Hochgeladene Dateien werden aktuell dem Claude-Kontext hinzugefügt, unterliegen Größenbeschränkungen, und nur Textformate funktionieren

Zusammenfassung von GN⁺

• Claudes neues Analysis-Tool unterscheidet sich von ChatGPT und Google Gemini dadurch, dass es auf JavaScript basiert und direkt im Browser ausgeführt wird
• Die enthaltene Dateiverarbeitung dürfte es für Datenanalyse-Aufgaben nützlich machen
• Allerdings scheint es noch Verbesserungspotenzial zu geben, etwa weil derzeit nur Textdateien unterstützt werden und die Integration mit Artifacts etwas eingeschränkt ist
• Für Nutzer, die wie bei OpenAI oder Google Python-basierte Lösungen bevorzugen, könnte es etwas ungewohnt sein
• Wenn künftig zusätzliche Funktionen wie die Verarbeitung von Binärdateien oder SQLite unterstützt werden, dürfte der praktische Nutzen weiter steigen

[GN⁺]

Hacker-News-Kommentar

• Die Idee, JavaScript clientseitig auszuführen, um Serverkosten zu senken, ist interessant

  • Für Anthropic dürfte das Kosten sparen, weil nicht jedes Mal ein Server ausgeführt werden muss

• In den benutzerdefinierten Anweisungen für das Modell steht ausdrücklich: „Das ist ähnlich wie die für Artifacts verwendete antArtifact-Syntax, aber nicht dasselbe“

  • Interessant ist die Formulierung im System-Prompt, die fast so wirkt, als würde sich das Modell entschuldigen

• Ich habe nach dem richtigen Muster gesucht, um nicht vertrauenswürdigen JavaScript-Code in einer Browser-Sandbox auszuführen, und es scheint, als hätte Anthropic das gelöst

  • Ihr JavaScript-Code ist so stark verschleiert, dass Reverse Engineering schwierig ist

• Ich habe Tests zur Codegenerierung mit Claude und ChatGPT durchgeführt

  • Bei Python-Aufgaben war Sonnet (eine Version vor 3.5) ChatGPT in Lesbarkeit, Struktur und Prompt-Verständnis überlegen
  • Nach dem Wechsel zu JavaScript-Projekten war Sonnet 3.5 ausschweifender und musste überarbeitet werden, während ChatGPT knapper und präziser war
  • Ich bin gespannt, ob sich Claude verbessert, wenn der Fokus auf JavaScript liegt

• duckdb-wasm wäre eine gute Ergänzung

  • Es wird bei Definite verwendet, und die Einschätzung zu duckdb ist positiv

• JavaScript ist für diese Aufgabe die perfekte Sprache

  • Ich freue mich auf eine Sandbox-Coding-Umgebung, in der die KI frei arbeiten kann

• Das ist ein großartiger Fortschritt, aber ich denke nicht, dass es besonders nützlich ist, bis das Problem des begrenzten Kontexts gelöst ist

  • Ich habe hohe Erwartungen an Anthropic und freue mich, dass es kein Winner-takes-all-Markt geworden ist, wie ich 2021 vorhergesagt hatte