Claude-3-Modelle vorgestellt

• Vorstellung der Modellfamilie Claude 3 der nächsten Generation: Haiku, Sonnet, Opus
  • In dieser Reihenfolge bieten sie zunehmend mehr Leistung, sodass Nutzer ein passendes Gleichgewicht aus Intelligenz, Geschwindigkeit und Kosten für ihre jeweilige Anwendung wählen können
• Opus ist das intelligenteste Modell und übertrifft in den meisten Evaluierungs-Benchmarks für KI-Systeme andere Modelle
  • Bei MMLU erreicht es 86,8 % und liegt damit vor GPT-4 (86,4 %) und Gemini 1.0 Ultra (83,7 %)
  • Bei HumanEval (Code) 0-Shot erreicht es 84,9 % und übertrifft damit GPT-4 (67 %) sowie Gemini 1.0 Ultra (74,4 %)
• Alle Claude-3-Modelle wurden bei Analyse, Vorhersage, Content-Erstellung, Code-Generierung und Konversationen in nicht englischen Sprachen verbessert

Nahezu sofortige Ergebnisse

• Die Claude-3-Modelle können für Live-Kundenchats, Autovervollständigung und Datenextraktion eingesetzt werden, bei denen in Echtzeit unmittelbare Reaktionen gefragt sind
• Haiku ist das schnellste und kosteneffizienteste Modell auf dem Markt und kann informations- und datenreiche Forschungsarbeiten in weniger als 3 Sekunden lesen
• Sonnet bietet bei doppelt so hoher Geschwindigkeit wie Claude 2 und 2.1 ein höheres Intelligenzniveau, und Opus liefert bei ähnlicher Geschwindigkeit wie Claude 2 und 2.1 ein deutlich höheres Intelligenzniveau

Starke Vision-Fähigkeiten

• Die Claude-3-Modelle verfügen über ausgefeilte Vision-Fähigkeiten, mit denen sie verschiedenste visuelle Formate wie Fotos, Diagramme, Grafiken und technische Zeichnungen verarbeiten können

Weniger Ablehnungen

• Frühere Claude-Modelle lehnten Anfragen oft unnötig ab, doch bei den Claude-3-Modellen wurden Ablehnungen bei Prompts, die nahe an den Guardrails des Systems liegen, deutlich reduziert

Höhere Genauigkeit

• Unternehmen verlassen sich im Kundenservice auf diese Modelle, daher ist es wichtig, dass die Modellausgaben ihre Genauigkeit beibehalten
• Opus ist doppelt so präzise wie das Vorgängermodell Claude 2.1, und auch der Anteil falscher Antworten wurde reduziert

Langer Kontext und nahezu perfektes Erinnerungsvermögen

• Die Claude-3-Modellfamilie wird zunächst ein Kontextfenster von 200K bereitstellen und kann Eingaben mit mehr als 1 Million Tokens verarbeiten

Verantwortungsbewusstes Design

• Die Claude-3-Modellfamilie ist leistungsfähig genug, um vertrauenswürdig zu sein
• Es gibt ein dediziertes Team, das verschiedene Risiken verfolgt und mindert, und es werden laufend Methoden entwickelt, um Sicherheit und Transparenz zu verbessern

Einfach zu nutzen

• Die Claude-3-Modelle folgen komplexen mehrstufigen Anweisungen besser und sind besonders gut darin, Markenstimme und Antwort-Richtlinien einzuhalten

Modelldetails

• Claude 3 Opus ist das intelligenteste Modell und bietet die beste Leistung am Markt bei hochkomplexen Aufgaben
• Claude 3 Sonnet bietet das ideale Gleichgewicht zwischen Intelligenz und Geschwindigkeit und eignet sich besonders für Unternehmens-Workloads
• Claude 3 Haiku ist das schnellste und kompakteste Modell für nahezu sofortige Reaktionsfähigkeit

Verfügbarkeit der Modelle

• Opus und Sonnet sind derzeit über die API verfügbar, Haiku soll bald folgen

Intelligenter, schneller und sicherer

• Anthropic geht nicht davon aus, dass die Grenzen der Modellintelligenz bereits erreicht sind, und plant häufige Updates für die Claude-3-Modellfamilie
• Während die Grenzen der KI-Fähigkeiten weiter verschoben werden, wird daran gearbeitet, dass sich Sicherheits-Guardrails im gleichen Tempo weiterentwickeln wie die Leistungssteigerungen

[xguru]

Hacker-News-Kommentare

• Opus übertrifft Gemini Pro und GPT-4 bei komplexen Fragen

  • Bei komplexen Fragen, in denen verschiedene Zahlenwerte aus einem 43-seitigen PDF-Dokument zu Investitionen in Lebensversicherungen identifiziert werden mussten, zeigte Opus eine bessere Leistung als die anderen Modelle.
  • Das Modell Claude 3 Sonnet zeigte eine ähnliche Leistung und verfehlte nur eine einzige Frage.

• Claude 3 Sonnet zeigt bei einfachen Coding-Aufgaben bessere Reaktionen als ChatGPT Classic

  • Claude 3 Sonnet verwendete für DB- und Frontend-Aufgaben die korrekten Methoden der SQL-ORM-Bibliothek, während GPT-4 falsche Methoden verwendete.
  • Bei einem anderen Prompt zur SQL-Generierung fiel die Antwort länger aus als bei ChatGPT Classic, wirkte aber weiterhin korrekt.

• Das Opus-Modell von Claude Pro ausprobiert und mit komplexen Abfragen getestet

  • Es wurde ein Claude-Pro-Abo abgeschlossen, um das Opus-Modell zu testen; dabei wurde um eine Kostenberechnung gebeten, die komplexe Fragen zu Bildern und SDXL-Fine-Tuning kombinierte.
  • Das Modell las den GPU-Preis falsch und machte Fehler in der Berechnung.
  • ChatGPT 4 hingegen las den Preis im selben Screenshot korrekt und lieferte konsistentere mathematische Berechnungen.

• Claude 3 verweigert das Schreiben eines Skripts mit der Aussage „openai ist besser als anthropic“

  • Claude 3 verweigerte das Schreiben eines Skripts zur Förderung oder Herabsetzung eines bestimmten Unternehmens mit Verweis auf das Prinzip, ehrlich und fair zu sein.
  • ChatGPT 3.5 hingegen reagierte sofort auf die Aufforderung, ein Skript mit der Aussage „anthropic ist besser als openai“ zu schreiben.

• Zweifel an der tatsächlichen Leistung von Opus

  • Es wurde die Frage aufgeworfen, ob es systematische Unterschiede zwischen Benchmark-Ergebnissen und der tatsächlichen Leistung geben könnte.
  • Bei grundlegenden Physikaufgaben schnitt es schlechter ab als GPT-4.
  • Auch bei Coding-bezogenen Fragen blieb die Leistung leicht hinter GPT-4 zurück.