Claude 3.5 Sonnet veröffentlicht: Leistung übertrifft GPT-4o

Anthropic hat heute Claude 3.5 Sonnet veröffentlicht. Es ist die erste Version der bald erscheinenden Claude-3.5-Modellfamilie und bietet eine bessere Leistung als das bisherige Claude 3 Opus und konkurrierende Modelle. Claude 3.5 Sonnet wird mit derselben Geschwindigkeit und zu denselben Kosten wie das Midrange-Modell Claude 3 Sonnet angeboten.

Bereitstellung

Claude 3.5 Sonnet ist kostenlos über Claude.ai und die Claude-iOS-App verfügbar; Abonnenten der Pläne Claude Pro und Team erhalten Zugriff mit höheren Request-Limits. Außerdem ist es über die Anthropic API, Amazon Bedrock und Vertex AI von Google Cloud verfügbar. Die Kosten liegen bei 3 $ pro Million Input-Token und 15 $ pro Million Output-Token, bei einem Kontextfenster von 200K Token.

Leistungssteigerung

Claude 3.5 Sonnet hat neue Maßstäbe bei Schlussfolgerungen auf Graduiertenniveau (GPQA), Wissen auf Bachelor-Niveau (MMLU) und Coding-Fähigkeiten (HumanEval) gesetzt. Das Verständnis von Humor und komplexen Anweisungen wurde deutlich verbessert, und es kann hochwertige Inhalte in einem natürlichen, empathischen Ton verfassen.

Ergebnisse interner Evaluierungen

In internen Coding-Evaluierungen löste Claude 3.5 Sonnet 64 % der Aufgaben und übertraf damit Claude 3 Opus mit 38 %. Diese Evaluierung testete die Fähigkeit, auf Basis natürlichsprachlicher Beschreibungen Bugs in Open-Source-Codebasen zu beheben oder Funktionen hinzuzufügen. Claude 3.5 Sonnet bewältigt auch Code-Übersetzungen mühelos und ist dadurch besonders effektiv für die Aktualisierung von Legacy-Anwendungen und die Migration von Codebasen.

Visuelle Fähigkeiten

Claude 3.5 Sonnet übertrifft Claude 3 Opus bei standardmäßigen visuellen Benchmarks und zeigt besonders starke Leistung bei Aufgaben, die visuelles Schlussfolgern erfordern. Die Fähigkeit, Text aus unvollständigen Bildern präzise zu transkribieren, ist besonders nützlich in den Bereichen Einzelhandel, Logistik und Finanzdienstleistungen.

Einführung der Artifacts-Funktion

Artifacts, das heute in Claude.ai eingeführt wurde, bietet einen dynamischen Arbeitsbereich, in dem von Nutzern erzeugte Inhalte wie Code-Snippets, Textdokumente und Website-Designs in Echtzeit bearbeitet und in Projekte sowie Workflows integriert werden können.

Sicherheit und Datenschutz

Claude 3.5 Sonnet wurde auf ASL-2-Niveau streng getestet und hat in Zusammenarbeit mit dem UK AISI vor dem Deployment eine Sicherheitsbewertung abgeschlossen. Nutzerdaten werden ohne ausdrückliche Erlaubnis nicht für das Training verwendet.

Ausblick

Zur Vervollständigung der Claude-3.5-Modellfamilie sollen später in diesem Jahr Claude 3.5 Haiku und Claude 3.5 Opus veröffentlicht werden. Zudem werden neue Funktionen und Modalitäten entwickelt, um die Integration in Unternehmensanwendungen zu unterstützen, und die Funktion „Memory“, die Präferenzen und Interaktionsverläufe von Nutzern speichert, wird derzeit erforscht.

Wir arbeiten kontinuierlich daran, Claude zu verbessern und Nutzerfeedback einzubeziehen, um eine bessere Erfahrung zu bieten. Feedback zu Claude 3.5 Sonnet kann direkt im Produkt eingereicht werden und in die Entwicklungs-Roadmap einfließen.

[wedding]

Ich habe es getestet, und die Geschwindigkeit ist wirklich enorm schnell.
Es ist auch gut, dass man es wie bei gpt4o eine bestimmte Anzahl von Malen kostenlos nutzen kann.