Anthropic Economic Index: Die Auswirkungen von Claude 3.7 Sonnet

• Anthropic veröffentlicht nach dem Launch von Claude 3.7 Sonnet den zweiten Forschungsbericht zu den wirtschaftlichen Auswirkungen von KI
• Der Bericht analysiert Nutzungsdaten von Claude.ai nach der Einführung des neuen und leistungsstärksten Modells Claude 3.7 Sonnet
• Der Datensatz wurde veröffentlicht und kann frei heruntergeladen werden

Zentrale Erkenntnisse

• Nach der Veröffentlichung von Claude 3.7 Sonnet stieg der Nutzungsanteil in Anwendungen für Coding, Bildung, Wissenschaft und Medizin
• Der neue Modus „Extended Thinking“ von Claude 3.7 Sonnet wird vor allem für technische Aufgaben verwendet
  • Er kommt hauptsächlich bei Aufgaben zum Einsatz, die mit Informatikforschenden, Softwareentwicklern, Multimedia-Animatoren und Videospiel-Designern verbunden sind
• Veröffentlichte Analysedaten zu Unterstützung/Automatisierung auf Aufgaben- und Berufsebene
  • Aufgaben im Zusammenhang mit Copywritern und Editoren zeigen den höchsten Grad an Aufgabeniteration (Mensch und Modell schreiben gemeinsam)
  • Aufgaben im Zusammenhang mit Übersetzern und Dolmetschern zeigen den höchsten Grad an direktivem Verhalten (das Modell erledigt die Aufgabe mit minimaler menschlicher Beteiligung)
• Erstmalige Veröffentlichung einer Bottom-up-Taxonomie für die Nutzung auf Claude.ai
  • Bereitstellung eines neuen Datensatzes mit 630 feingranularen Kategorien
  • Diese Klassifizierung dürfte dabei helfen, Anwendungsfälle zu erfassen, die bei bestehenden Top-down-Ansätzen übersehen werden könnten

Veränderungen nach dem Launch von Claude 3.7 Sonnet

• Analyse von 1 Million anonymisierten Claude.ai-Free- und Pro-Konversationen in den 11 Tagen nach dem Launch
• Der Nutzungsanteil in den Bereichen Coding, Bildung und Wissenschaft stieg leicht an
• Der Anstieg bei Coding-Nutzung dürfte auf die verbesserten Coding-Benchmark-Ergebnisse von Claude 3.7 Sonnet zurückzuführen sein
• Die Zunahmen in anderen Kategorien könnten die Ausbreitung von KI in der Gesamtwirtschaft, neue Anwendungen von Coding in diesen Domänen oder unerwartete Verbesserungen der Modellfähigkeiten widerspiegeln

Nutzungsmuster des Extended-Thinking-Modus

• Der Extended-Thinking-Modus wird vor allem in Situationen technischer und kreativer Problemlösung verwendet
• Aufgaben im Zusammenhang mit Computer- und Informationsforschern verzeichnen mit fast 10 % die höchste Nutzung
• Auch bei Aufgaben im Zusammenhang mit Softwareentwicklern (ca. 8 %), Multimedia-Künstlern (ca. 7 %) und Videospiel-Designern (ca. 6 %) zeigt sich eine erhebliche Nutzungsrate
• Für weitere Forschung zu dieser neuen Modellfunktion wurde ein Datensatz veröffentlicht, der den Anteil des Thinking-Modus für jede Aufgabe abbildet

Veränderungen beim Verhältnis Unterstützung vs. Automatisierung

• Das Gleichgewicht zwischen unterstützender und automatisierter Nutzung bleibt auch in den neuen Daten grundsätzlich unverändert; unterstützende Nutzung macht 57 % aus
• Einige Veränderungen bei den Typen von Automatisierung und Unterstützung wurden beobachtet
  • Lerninteraktionen, bei denen Nutzer Informationen oder Erklärungen zu verschiedenen Themen anfordern, stiegen von ~23 % auf ~28 %
• Aufgaben im Bereich soziale Dienste zeigen einen Anteil unterstützender Nutzung von fast 75 %
• Aufgaben im Zusammenhang mit Fertigung oder mit Computer- und Mathematikberufen liegen beim Verhältnis Unterstützung/Automatisierung nahe bei 50:50
• Es gibt keine Berufskategorie, in der Automatisierung dominiert

Bottom-up-Taxonomie

• Veröffentlichung eines Bottom-up-Datensatzes zur Nutzung von Claude.ai
• Er wurde mit Clio erstellt und verwendet denselben anonymisierten Konversationsdatensatz
• Er besteht aus 630 feingranularen Clustern und enthält zugehörige Beschreibungen, Verbreitungsmetriken sowie Analysen zu Automatisierung/Unterstützung
• Er ist in drei Ebenen der Hierarchie aufgebaut
• Beispiele für besonders interessante Cluster:
  • Unterstützung bei Wasserressourcen-Managementsystemen und Infrastrukturprojekten
  • Erstellung physikbasierter Simulationen mit interaktiven Visualisierungsfunktionen
  • Unterstützung bei Schriftartauswahl, Implementierung und Problemlösung
  • Unterstützung bei der Erstellung und Verbesserung von Unterlagen für Bewerbungen
  • Bereitstellung von Anleitungen zu Batterietechnologie und Ladesystemen

Fazit und Ausblick

• Mit dem Fortschritt der Modelle muss sich auch die Messung ihrer wirtschaftlichen Auswirkungen weiterentwickeln
• Die Daten nach dem Launch von Claude 3.7 Sonnet zeigen einen relativ leichten Anstieg bei Coding-, Bildungs- und wissenschaftlichen Anwendungsfällen, während sich das Gleichgewicht zwischen Unterstützung und Automatisierung nicht verändert hat
• Der Extended-Thinking-Modus wird in technischen Domänen und Aufgaben am häufigsten genutzt
• Es wurden Muster bei Automatisierungs-/Unterstützungsverhältnissen über Aufgaben und Berufe hinweg bestätigt
• In den kommenden Monaten sollen diese Kennzahlen weiter verfolgt und neue Metriken entwickelt werden, während sich die Fähigkeiten verbessern und die Modelle in der gesamten Wirtschaft weiter Anwendung finden

[esc5221]

Anthropic Economic Index (Wirtschaftsindex)