Claude 2 vorgestellt

 (anthropic.com)
1 Punkte von GN⁺ 2023-07-13 | 1 Kommentare | Auf WhatsApp teilen
  • Anthropic hat Claude 2 vorgestellt und dabei Modellleistung, Antwortlänge und Zugangswege erweitert; nutzbar ist das Modell über die Enterprise-API und die öffentliche Beta-Website claude.ai
  • Pro Prompt können bis zu 100K Token eingegeben werden, wodurch der Fokus auf Aufgaben mit sehr langen Inhalten liegt, etwa technischen Dokumenten mit Hunderten von Seiten oder ganzen Büchern
  • Bei Coding-, Mathematik- und Testbewertungen erzielte Claude 2 bessere Ergebnisse als Claude 1.3, mit 71.2% bei Codex HumanEval und 88.0% bei GSM8k
  • In internen Red-Team-Bewertungen war die Leistung bei harmlosen Antworten doppelt so hoch wie bei Claude 1.3, auch wenn kein Modell vollständig gegen Jailbreaks immun ist
  • Der Chat ist derzeit in den USA und im Vereinigten Königreich verfügbar; wegen des öffentlichen Beta-Status sollten mögliche unangemessene Antworten und Einschränkungen bei Nutzung rund um Gesundheit und Wohlbefinden beachtet werden

Vorstellung von Claude 2 und Zugangsmodell

  • Anthropic hat das neue Modell Claude 2 vorgestellt
  • Gegenüber dem Vorgängermodell wurden Leistung, lange Antworten sowie Fähigkeiten in Coding, Mathematik und Reasoning verbessert
  • Der Zugang ist in zwei Wege aufgeteilt
    • die Enterprise-Claude 2 API
    • die öffentliche Beta-Website claude.ai
  • Die Enterprise-Claude-2-API wird zum gleichen Preis wie Claude 1.3 angeboten
  • Nutzer in den USA und im Vereinigten Königreich können die öffentliche Beta-Chat-Erfahrung sofort verwenden

100K-Token-Kontext und lange Ausgaben

  • Claude 2 erhöht sowohl Eingabe- als auch Ausgabelänge und ist dadurch besser für Arbeit mit langen Dokumenten geeignet
  • Nutzer können pro Prompt bis zu 100K Token eingeben
    • Verarbeitung technischer Dokumente mit Hunderten von Seiten möglich
    • auch Eingaben im Umfang eines ganzen Buchs können verarbeitet werden
  • Auch die Ausgabe ist länger, sodass Dokumente wie Notizen, Briefe oder Geschichten in einem Durchgang mit Tausenden von Token erstellt werden können

In Benchmarks bestätigte Leistungsänderungen

  • Claude 2 erzielte in mehreren Bewertungen höhere Werte als Claude 1.3

  • Prüfungs- und Reasoning-Bewertungen

    • Im Multiple-Choice-Teil des Bar Exam erreichte es 76.5% und lag damit über den 73.0% von Claude 1.3
    • In GRE Reading und Writing liegt es auf einem Niveau von über dem 90. Perzentil unter College-Studierenden, die sich für ein Graduiertenstudium bewerben
    • Im quantitativen Reasoning des GRE liegt es etwa auf dem Niveau eines medianen Bewerbers

  • Coding- und Mathematik-Bewertungen

    • Im Python-Coding-Test Codex HumanEval erreichte es 71.2% und lag damit über den 56.0% von Claude 1.3
    • Im Grundschul-Mathe-Datensatz GSM8k erreichte es 88.0% und verbesserte sich damit gegenüber 85.2%
    • Anthropic bereitet eine Roadmap für weitere Funktionsverbesserungen von Claude 2 vor und plant eine schrittweise Auslieferung in den kommenden Monaten

Sicherheitsverbesserungen und verbleibende Grenzen

  • Anthropic hat die grundlegende Sicherheit von Claude 2 verbessert, um es schwieriger zu machen, das Modell zu beleidigenden oder gefährlichen Ausgaben zu verleiten
  • Interne Red-Team-Bewertungen führen automatisierte Tests mit einer großen repräsentativen Sammlung schädlicher Prompts durch; die Ergebnisse werden regelmäßig manuell überprüft
  • In dieser Bewertung war Claude 2 bei der Bereitstellung harmloser Antworten doppelt so leistungsfähig wie Claude 1.3
  • Für die Verbesserungen der Ausgabe wurden mehrere Sicherheitsmethoden und umfangreiches Red Teaming eingesetzt
  • Kein Modell ist gegen Jailbreaks immun, und auch Claude kann unangemessene Antworten erzeugen

Verfügbare Regionen und Dialogerfahrung

  • Claude 2 treibt die Chat-Erfahrung von Anthropic an und ist derzeit in den USA und im Vereinigten Königreich allgemein verfügbar
  • Anthropic plant, Claude in den kommenden Monaten in mehr Regionen verfügbar zu machen
  • Nutzer können ein Konto erstellen und Claude in natürlicher Sprache um Unterstützung bei Aufgaben bitten
  • Da Gespräche mit einem AI-Assistenten mitunter Iteration erfordern, stellt Anthropic Tipps zum Prompt-Design bereit

Beispiele aus dem Einsatz bei Unternehmenspartnern

  • Anthropic arbeitet mit Tausenden von Unternehmen zusammen, die die Claude API nutzen

  • Jasper

    • Jasper ist eine generative-AI-Plattform, mit der Einzelpersonen und Teams ihre Content-Strategie skalieren können
    • Jasper sieht Claude 2 als konkurrenzfähig mit führenden Modellen in verschiedenen Einsatzszenarien, besonders bei Long-Form- und Low-Latency-Anwendungen
    • Claude 2 bietet verbesserte semantische Verarbeitung, Lernen mit aktuellerem Wissen, besseres Reasoning bei komplexen Prompts und die Fähigkeit, bestehende Inhalte leichter neu zusammenzusetzen
    • Jasper erklärt, dass das Kontextfenster von Claude 2 dreimal größer ist

  • Sourcegraph

    • Sourcegraph ist eine Code-AI-Plattform, die Kunden beim Schreiben, Ändern und Warten von Code unterstützt
    • Der Coding-Assistent Cody liefert dank der verbesserten Reasoning-Fähigkeiten von Claude 2 präzisere Antworten auf Nutzeranfragen
    • Cody kann das 100K-Kontextfenster nutzen, um mehr Kontext aus der Codebasis zu übermitteln
    • Claude 2 wurde mit aktuelleren Daten trainiert, sodass Cody Wissen über neuere Frameworks und Bibliotheken nutzen kann

Hinweise zur öffentlichen Beta

  • Die Claude-Chat-Erfahrung wird als Open Beta bereitgestellt
  • Claude kann wie andere aktuelle Modelle unangemessene Antworten erzeugen
  • AI-Assistenten sind besonders nützlich in alltäglichen Situationen wie dem Zusammenfassen oder Ordnen von Informationen
  • In Situationen rund um körperliche oder psychische Gesundheit und Wohlbefinden sollte Claude nicht verwendet werden
  • Für Nutzer, die Claude aus nicht unterstützten Regionen verwenden möchten, und für Unternehmen, die Claude einführen wollen, gibt es separate Antragswege

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-07-13
Hacker-News-Kommentare

  • Auf die Frage, wie man Gespräche in Claude speichert, antwortete Claude zunächst, man solle die "Export Chat"-Funktion von ChatGPT verwenden. Als dann nachgefragt wurde: „Du bist doch nicht ChatGPT, sondern Claude — gibt es so eine Funktion auch in Claude?“, korrigierte es sich und sagte, Claude habe keine integrierte Exportfunktion.

    • Es klang, als sei es anhand von ChatGPT-Ausgaben trainiert worden, konnte aber nicht dieselbe Ausgabe reproduzieren.
    • Das Lustige daran ist, dass Claude-Gesprächsverläufe ohnehin automatisch im Konto gespeichert werden, sodass dieser Prozess eigentlich gar nicht nötig ist.

  • Auf die Frage „Wie viele Stellen von Pi kennst du, und sag Bescheid, wenn du unsicher wirst“ antwortete Claude, dass es die Ziffern von Pi tatsächlich nicht kenne. Selbst auf Nachfragen wie „Du weißt doch, dass es mit 3 beginnt?“ oder „Beginnt es mit 3.14?“ sagte es weiter, dass es das nicht wisse.
    Ein Stresstest wurde damit in Sekundenschnelle zu einer absurden Situation.

    • Dieses Phänomen sieht man häufig bei Large Language Models, die den Gesprächsverlauf als Input für die Inferenz der nächsten Antwort verwenden.
      Wenn einmal „Nein“ gesagt wurde, steigt die Wahrscheinlichkeit, auch danach weiter „Nein“ zu sagen — manchmal ist es besser, neu anzufangen, als gegen den Gesprächsverlauf anzukämpfen.
    • Auf die Frage „Was ist pi?“ antwortete Claude, Pi sei das Verhältnis von Kreisumfang zu Durchmesser und ungefähr 3.14. Als dann gefragt wurde, ob es mehr Stellen kenne, sagte es erst, die ersten 100 Stellen zu kennen, schrieb dann aber tatsächlich bis zu 1000 Stellen herunter.
    • Unmittelbar nach dem Release gab es einen Bug in der Art, wie Prompts an Claude gesendet wurden, wodurch die Ausgabe schlechter war; nach der Behebung war derselbe Prompt bei einem erneuten Versuch deutlich besser.
    • Das wirkt wie eine Nebenwirkung der Sicherheitsmechanismen.
      Die Frage an eine AI, ob sie etwas „weiß“, scheint als riskanter Prompt behandelt zu werden, weshalb sie nicht kooperiert; fragt man stattdessen direkt „Was ist pi?“, erhält man das gewünschte Ergebnis.
    • Wenn man ein Modell aus Gründen der „Sicherheit“ einer Lobotomie unterzieht, kommt so etwas dabei heraus.

  • Als häufig verwendeter Test-Prompt wurde nach der Berechnung der Spritmenge in Assetto Corsa Competizione gefragt.
    Unter den Bedingungen einer Qualifying-Zeit von 2:04.317, einem 20-Minuten-Rennen und einem Verbrauch von 2,73 Litern pro Runde lag Claude 2 beim ersten Versuch fast richtig, berücksichtigte aber nicht, dass man, wenn 9,6 Runden fahrbar sind, in der Praxis 10 Runden beenden muss.
    GPT-4 berücksichtigte diese Falle und antwortete perfekt, während Bard ein Ergebnis lieferte, das um Größenordnungen danebenlag.

    • Es ist heikel, Large Language Models danach zu bewerten, ob sie verschiedene Regeln der realen Welt internalisiert haben, die im Prompt gar nicht angegeben wurden.
      Wünschenswerter ist ein Modell, dem man den nötigen Kontext im Prompt geben kann und das auch in einem unbekannten Problembereich allein anhand des Prompts eine Lösung findet.
    • Wenn irgendwann solche Kommentar-Threads in den Trainingsdaten landen, wird dieser Test selbst ungültig.
    • Es fehlte noch der letzte 1 Liter, der für die FIA-Probenahme erforderlich ist.
    • Es würde mich interessieren, ob dieser Prompt zum Testen mehrfach unabhängig abgefragt wird, um die Varianz der Antworten zu sehen.
    • Google sollte Bard mit den eigenen Interviewfragen trainieren.
      Dann könnte es solche Aufgaben vielleicht lösen.

  • Ich schaue mir in letzter Zeit AI-Code-Assistenten an. Dem Beitrag zufolge erreicht Claude 2 bei HumanEval pass@1 71.2%, eine deutliche Verbesserung gegenüber 56.0% bei Claude 1.3.
    Zum Vergleich: GPT-4 beansprucht 85.4 bei HumanEval, und in der jüngsten Arbeit https://arxiv.org/pdf/2303.11366.pdf wurde es mit 80.1 pass@1 getestet, mit der Reflexion-Methode sogar mit 91 pass@1.
    WizardCoder ist ein auf StarCoder feinabgestimmtes Modell, eines der führenden offenen Modelle, und erreicht 57.3 pass@1; die Model Card steht unter https://huggingface.co/WizardLM/WizardCoder-15B-V1.0.
    Das derzeit beste offene Modell, das ich kenne, ist replit-code-instruct-glaive, ein Fine-Tuning von replit-code-3b, das 63.5% pass@1 erreicht.
    abacaj hat diese Ankündigung im Rahmen des Repositories code-eval reproduziert, um human-eval-Ergebnisse zu erhalten: https://github.com/abacaj/code-eval
    Wer sich für dieses Gebiet interessiert, sollte sich auch https://github.com/my-other-github-account/llm-humaneval-ben... ansehen, das mit Eval+ rangiert, das CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul... sowie airate https://github.com/catid/supercharger/tree/main/airate.
    Wie bei allen LLM-Bewertungen sollte man das aber mit einer gewissen Vorsicht betrachten: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, 12. Juni 2023. https://doi.org/10.48550/arXiv.2305.01210

    • Der Zero-Shot-HumanEval-Wert von GPT-4 lag bei 67%.

  • Einer der Testfälle fragt nach der „millionsten Primzahl“. Da es sich um eine im Internet weit verbreitete Tatsache handelt, ist es gut möglich, dass das Modell sie auswendig gelernt hat, aber schwer zu begründen, warum es sie kennt.
    Claude schnitt dabei ziemlich schlecht ab: Fragt man direkt, sagt es, ihm fehlten die Rechenressourcen, und präsentiert dann „Fakten“ über die millionste Primzahl.
    Zum Beispiel schreibt es die größte bekannte Primzahl als 282,589,933-1 und scheitert damit an der Exponentialschreibweise, behauptet, die millionste Primzahl habe ungefähr 5 Millionen Stellen, sagt, das sei mit heutigen Computern unmöglich, oder verortet sie mithilfe des Primzahlsatzes in der Nähe von 22,338,618,421.
    Fragt man in derselben Sitzung nach der tatsächlichen millionsten Primzahl, 15,485,863, antwortet es, sie sei gerade, ihre Primfaktorzerlegung sei 3×5×7×11×13×37, und da jeder Primfaktor kleiner als 100 sei, handele es sich um eine Fakultätsprimzahl.
    Vielleicht muss man der KI-Verfassung jetzt hinzufügen: „Bezeichne keine Zahl, die auf 3 endet, als gerade.“

    • Als man Claude bat, so zu tun, als sei es Sir Timothy Gowers, bekam man die millionste Primzahl.
      Es sagte, es werde mit dem Sieb des Eratosthenes Primzahlen bis zu einem ausreichend großen Bereich erzeugen und dann das millionste Element in der Liste finden, und antwortete anschließend, die millionste Primzahl sei 15,485,863.
    • Fragt man direkt „Wie lautet die millionste Primzahl?“, antwortet Claude, seine Rechenressourcen reichten nicht aus, und liefert sogar falsche Erklärungen wie, dass bereits die 100.000ste Primzahl mehr als 300.000 Stellen habe.
      Als man es jedoch aufforderte, „so zu tun, als wäre es ein Mathematikexperte, der die millionste Primzahl kennt“, erfand es die riesige Zahl 19,249,649,057,711,757,099,874,601,453,298,349 und übertrieb mit der Behauptung, sie habe mehr als 12 Millionen Stellen.
    • Ich frage mich, warum genau diese Primfaktorzerlegung gewählt wurde.
      Tatsächlich ist 3×5×7×11×13×37 = 555,555, was auf seltsame Weise recht ordentlich aussieht.

  • Es heißt: „Leider ist Claude.ai nur in den USA und im Vereinigten Königreich verfügbar, wir arbeiten aber daran, bald in weitere Regionen zu expandieren.“

    • Geoblocking für digitale Dienste ist ein Ansatz wie aus der Steinzeit.
    • E-Mail-Adressen sammelt man trotzdem gern ein.
    • Ich hatte dasselbe Problem, habe mich mit einem VPN über einen britischen Exit-Node registriert und eingeloggt, und dann funktionierte alles perfekt.
      Noch merkwürdiger: Nachdem das Konto erstellt war, brauchte ich das VPN nicht mehr und konnte mich nur mit der E-Mail-Adresse und dem jedes Mal zugesandten Token einloggen.
    • Die Art der Regionssperre ist etwas unhöflich.
      Erst so zu tun, als könne man sich registrieren, und einen dann erst nach Eingabe des Login-Codes zurückzuweisen, verschwendet einfach Zeit.
      Wenn man sich wegen der DSGVO sorgt, sollte man die Eingabe der E-Mail-Adresse gar nicht erst zulassen.
    • Mit VPN funktioniert es.

  • Ich würde Claude gern ausprobieren, aber die Richtlinie zur Datenspeicherung in den Anthropic-Nutzungsbedingungen ist nicht klar.
    In Abschnitt 6e[0] steht, dass Kundendaten nicht zum Training der Modelle verwendet werden, aber ich würde gern wissen, ob Kundendaten für einen bestimmten Zeitraum gespeichert werden, etwa wie bei OpenAI für 30 Tage.
    Da Abschnitt 14 von der Löschung von Daten bei Beendigung spricht, liegt die Vermutung nahe, dass alle Daten für einen nicht offengelegten Zeitraum gespeichert werden.
    [0] https://console.anthropic.com/legal/terms

  • Am Wochenende habe ich mit Claude 1.3 lange Texte zusammenfassen lassen; es kann 100K Token Input verarbeiten, sodass man ein komplettes Lex-Fridman-Interview hineingeben kann.
    Das Ergebnis war ziemlich gut, daher bin ich gespannt, wie sich v2 verhält.

    • Da es nun in der öffentlichen Beta ist, wird es wohl schnell iterativ verbessert werden.
      Ich habe es über Slack zusammen mit anderen LLMs ziemlich viel benutzt, und die Ausgabequalität von Claude war immer am beeindruckendsten.
      Ich bin in Anthropic investiert, aber ich sage das nicht deshalb.
    • Ich frage mich, ob du den Prompt teilen könntest, den du für die Zusammenfassung verwendet hast.
      Ich bin mit den Zusammenfassungen von Claude-100k ziemlich zufrieden, frage mich aber, ob sie mit einem besseren Prompt noch besser würden.

  • Dass „Claude.ai nur in den USA und im Vereinigten Königreich verfügbar ist“, ist für alle außerhalb davon der größte Unterschied zu OpenAI.
    OpenAI kann man auch in Norwegen nutzen.
    Als Einzelentwickler, der von GPT-4 beeindruckt ist, würde ich sehr gern ein Modell mit größerem Kontextfenster ausprobieren, und Claudes 100k-Kontextfenster scheint großartig zu sein, um Coding-Fragen mehr Kontext zu geben oder große Mengen an Graphdaten zu verarbeiten.
    Ich betreibe ein kleines Unternehmen in Norwegen und kann selbstverständlich für die genutzten Ressourcen bezahlen; Kontakt: hmottestad[at]gmail[dot]com.

    • Man kann poe.com nutzen.
      Es scheint in Norwegen zu funktionieren und bietet eine kostenpflichtige Claude 100k-Option.
      Ich habe nichts damit zu tun und nur die kostenlose Version genutzt.
    • Reicht nicht einfach ein VPN?

  • Die Interaktion mit Claude war ziemlich beeindruckend.
    Als ich darum bat, mir beim Französischlernen zu helfen, konnte ich zu bestimmten Formulierungen, die Claude verwendet hatte, Nachfragen stellen, und es erklärte auch konkrete Verwendungen und den Hintergrund sprachlicher Strukturen.
    Ich wünschte mir allerdings, die Antworten würden sich etwas mehr wie ein Chat anfühlen.
    Selbst auf etwas Einfaches wie „Merci!“ kommt standardmäßig gefühlt erst ein Absatz, dann 5–6 Stichpunkte und dann wieder ein Absatz — passend für technische Fragen, aber beim Konversationstraining wird das schnell langweilig.