Anthropic veröffentlicht Claude 2.1

• Claude 2.1 ist über die API verfügbar und bietet das Chat-Erlebnis von claude.ai.
• Zu den Merkmalen gehören ein Kontextfenster von 200K Tokens, weniger Halluzinationen, System Prompts sowie die neue Beta-Funktion Tool Use.
• Zur Verbesserung der Kosteneffizienz für Kunden ist eine Aktualisierung der Preispolitik geplant.

Kontextfenster mit 200K

• Claude-Nutzer forderten ein größeres Kontextfenster und präzisere Ausgaben bei der Arbeit mit langen Dokumenten.
• Mit 200.000 Tokens können Claude etwa 150.000 Wörter oder Material von mehr als 500 Seiten übergeben werden.
• Claude kann mit umfangreichen Inhalten oder Daten interagieren und verschiedene Aufgaben wie Zusammenfassungen, Q&A, Trendprognosen und den Vergleich mehrerer Dokumente ausführen.

Halluzinationsrate halbiert

• Claude 2.1 halbiert die Rate falscher Aussagen, um die Verlässlichkeit zu verbessern.
• Unternehmen können AI-Anwendungen mit größerem Vertrauen und höherer Zuverlässigkeit entwickeln und in den Betrieb bringen.
• Claude 2.1 zeigt Verbesserungen beim Verständnis und bei der Zusammenfassung, insbesondere bei langen und komplexen Dokumenten, bei denen Genauigkeit entscheidend ist.

API Tool Use

• Hinzu kommt die neue Beta-Funktion „Tool Use“, die sich in die bestehenden Prozesse, Produkte und APIs der Nutzer integrieren lässt.
• Claude kann von Entwicklern definierte Funktionen oder APIs orchestrieren, Webquellen durchsuchen und Informationen aus privaten Wissensdatenbanken abrufen.
• Tool Use befindet sich noch in einer frühen Entwicklungsphase; Entwicklerfunktionen und Prompt-Richtlinien werden derzeit aufgebaut.

Entwicklererfahrung

• Die Developer-Console-Erfahrung für Claude-API-Nutzer wird vereinfacht und das Testen neuer Prompts erleichtert.
• Mit dem neuen Workbench-Produkt können Entwickler Prompts iterieren und auf Modelleinstellungen zugreifen, um das Verhalten von Claude zu optimieren.
• System Prompts werden eingeführt, damit Nutzer Claude individuelle Anweisungen geben können.

Meinung von GN⁺

• Die wichtigsten Merkmale von Claude 2.1 sind das Kontextfenster mit 200K Tokens und die verringerte Halluzinationsrate; damit können Nutzer größere Dokumente und Daten verarbeiten und verlässlichere Ergebnisse erhalten.
• Diese Funktionen zeigen den Fortschritt der AI-Technologie und haben das Potenzial, die Arbeit von Unternehmen und Entwicklern zu verändern, indem sie effizientere und genauere Werkzeuge bereitstellen.
• Der Artikel bietet interessante Informationen zu den neuesten Entwicklungen der AI-Technologie und zu neuen Tools, die Entwicklern zur Verfügung stehen, und ist damit für technikinteressierte Leser attraktiv.

[GN⁺]

Hacker-News-Kommentare

• Die bittersüße Seite des 200k-Kontexts: Schade, dass die Fehlerrate von 70k bis 195k stark ansteigt. Lobenswert ist jedoch die Verringerung der Fehler im mittleren Bereich.
• Unzufriedenheit mit der eingeschränkten Nutzbarkeit des Modells: Claude lehnt, anders als es die Überschrift nahelegt, immer noch nicht wenig ab. Anthropic zensiert das Modell so stark, dass es schwer nutzbar ist. Der Nutzer sollte das Werkzeug bestimmen, nicht das Werkzeug den Nutzer.
• Hinweis auf die Diskrepanz zwischen Titel und Inhalt: Die in der Ankündigung erwähnte „Verringerung von Ablehnungen“ passt nicht zum tatsächlichen Inhalt. Claude 2.1 scheint eher wahrscheinlicher abzulehnen, als falsche Informationen zu liefern.
• Ineffizienz beim Programmieren: Im Vergleich zu GPT-4 zehnmal schlechter. Auf die Bitte um eine einfache Datenbank-Synchronisierungsfunktion wurde statt echtem Code viel Pseudocode geliefert.
• Negativer Eindruck vom Modell: Anthropics Modell wurde offenbar so stark darauf trainiert, die meisten Anfragen abzulehnen, dass Gespräche mit Claude keinen Spaß machen.
• Fall einer ideologisch motivierten Ablehnung: Die Ablehnung einer Anfrage nach einer Vokabelliste, um wie ein effektiver Altruist zu sprechen, führte zu einer humorvollen Situation.
• Enttäuschung über Claude 2: Anfangs gab es Erwartungen, doch im Vergleich zu GPT-4 wird die Leistung als deutlich unterlegen bewertet; selbst ein großes Kontextfenster bringt nichts, wenn die Qualität der Antworten schlecht ist.
• Zugänglichkeitsprobleme bei der API-Nutzung: Es gibt Interesse an der Nutzung der API, aber das Ausbleiben einer Antwort ist enttäuschend. Das wirkt wie mangelndes Interesse an einer Entwicklerplattform.
• Schwieriger API-Zugang: Weder über die Website von Anthropic noch über Anfragen via Bedrock kam eine Antwort, sodass API-Zugang geschäftlich kaum möglich erscheint.
• Interesse an der Einführung von System-Prompts: Beachtet wird die Einführung von System-Prompts, mit denen Nutzer Claude individuelle Anweisungen geben und so die Leistung verbessern können. Es gibt Erwartungen hinsichtlich der einfachen Nutzung und des möglichen Missbrauchs.
• Testeinsatz von Claude und die Wahl von OpenAI: Noch nicht in der Produktion im Einsatz, aber beim Aufbau neuer Funktionen mit LLMs regelmäßig Teil der Tests. OpenAI wurde schneller verifiziert und kam früher auf den Markt; die API ist besser, zuverlässiger und günstiger. Doch seit Claude in AWS Bedrock enthalten ist, sind Dinge möglich geworden, die zuvor nicht möglich waren.