Better Call GPT: Vergleich von Anwälten und großen Sprachmodellen [PDF]

• Ein Experiment zum Vergleich von LLMs mit Junior Lawyers und Legal Process Outsourcing (LPO) bei der Vertragsprüfung; die Einschätzungen von Senior Lawyers dienten als Goldstandard, bewertet wurden Problemklassifikation, Positionsbestimmung, Geschwindigkeit und Kosten
• Bei der Erkennung rechtlicher Fragestellungen lag GPT4-1106 mit einem F-Score von 0,871 nahezu gleichauf mit LPO (0,874) und über Junior Lawyers (0,860); bei der Positionsbestimmung lag LPO mit 0,770 vor GPT4-32k mit 0,740
• Das Experiment nutzte 10 anonymisierte Beschaffungsverträge; NDAs wurden ausgeschlossen, weil sie zu kurz seien und sich nicht für komplexe Bewertungen eigneten, zudem wurden Verträge aus den Rechtsordnungen der USA und Neuseelands ausgewogen einbezogen
• Bei der Prüfgeschwindigkeit lagen LLMs deutlich vorn: Die durchschnittliche Zeit betrug 56,17 Minuten für Junior Lawyers und 201 Minuten für LPO, gegenüber 4,70 Minuten für GPT4-1106, 2,11 Minuten für GPT4-32k und 0,73 Minuten für Palm2 text-bison
• Die Kosten pro Vertrag wurden für Claude 2.0 und Claude 2.1 mit 0,02 US-Dollar und für GPT4-1106 mit 0,25 US-Dollar berechnet; gegenüber 74,26 US-Dollar für Junior Lawyers und 36,85 US-Dollar für LPO ergibt sich eine Kostenersparnis von bis zu 99,97 %

---

Was wurde bei der Vertragsprüfung verglichen?

• Ziel war es zu bewerten, ob LLMs Junior Lawyers und LPO bei umfangreichen Vertragsprüfungen in Bezug auf Genauigkeit, Geschwindigkeit und Kosteneffizienz übertreffen oder ihnen ebenbürtig sind
• Die verglichene Aufgabe bestand darin, rechtliche Fragestellungen im Vertrag zu beurteilen und die Stellen der Vertragsklauseln zu finden, die diese Beurteilung beeinflussten
• Die von Senior Lawyers erstellten Einschätzungen wurden als Goldstandard verwendet, um die Ergebnisse von LLMs, Junior Lawyers und LPO zu vergleichen
• Die Forschungsfragen lassen sich in drei Punkte zusammenfassen
  • Sind LLMs bei der Erkennung rechtlicher Fragestellungen und der Positionsbestimmung in Verträgen besser als Junior Lawyers und LPO?
  • Können LLMs Verträge schneller prüfen?
  • Können LLMs Verträge kostengünstiger prüfen?

Datensatz und Versuchsdesign

• Der Datensatz bestand aus 10 Beschaffungsverträgen aus realen Rechtsverträgen, die zur Wahrung der Vertraulichkeit anonymisiert wurden
• Beschaffungsverträge wurden ausgewählt, weil sie in der Rechtspraxis ein vertragsstarker Prüfungstyp sind; NDAs wurden als in der Regel zu kurz eingestuft, um die Fähigkeit von LLMs zur Beurteilung komplexer rechtlicher Fragestellungen ausreichend zu bewerten
• Bei den Rechtsordnungen wurden Verträge aus den USA und Neuseeland ausgewogen einbezogen
  • Die USA wurden als System mit einer Kombination aus kodifiziertem Recht und Common Law behandelt
  • Neuseeland wurde als auf Common Law basierendes System behandelt
• Jeder Vertrag wurde in einer zweiteiligen Struktur aus Dokumentszenario und Vertragsprüfungs-Playbook analysiert
  • Das Dokumentszenario lieferte Kontext zu Rechtsordnung, Historie, Organisationsgröße sowie Produkten und Dienstleistungen der Vertragsparteien
  • Das Prüfungs-Playbook stellte standardisierte Prüfpunkte bereit, die aus realen Fällen abgeleitet waren
• Senior Lawyers beurteilten, ob jeder Vertrag vorab definierte Kriterien erfüllte, und fanden und dokumentierten die konkreten Vertragsteile, die ihre Beurteilung beeinflussten
  • Es wurde auch ausdrücklich festgehalten, wenn relevante Informationen im Vertrag fehlten und ein Kriterium deshalb nicht erfüllt war
  • Die Ergebnisse mehrerer Senior Lawyers wurden nach Mehrheitsmeinung aggregiert
• Die Studie wurde gemäß den Ethikstandards von Onit Inc. durchgeführt und umfasste Teilnehmerinformation, Rücktrittsrecht, Anonymisierung, De-Identifizierung von Vertragsdaten sowie Einbindung und Audits durch ein Ethikkomitee

Modellauswahl und Prompts

• Die Modelle wurden unter Berücksichtigung wichtiger Anbieter im LLM-Bereich, vorläufiger Testergebnisse und der Größe des Kontextfensters ausgewählt
• Modelle, die nicht mindestens 16.000 Tokens verarbeiten konnten, wurden ausgeschlossen, da sie als ungeeignet galten, den gesamten Vertragskontext zu erfassen
  • LLaMA2 und Amazon Titan mussten Dokumente in mehrere Teile aufteilen, wobei Szenario, Playbook und Definitionsklauseln in jedem Teil wiederholt werden mussten
  • Auch Verfahren wie RAG wurden geprüft, doch in der Vorbewertung führten sie zu Diskontinuitäten im Verständnis des Vertragskontexts und eigneten sich daher nicht für den Vergleich mit dem Verständnisniveau menschlicher Anwälte
• Die in die Bewertung einbezogenen Modelle und Einstellungen waren wie folgt
  • GPT4 32k: temperature 0.2, Eingabe 32.768 Tokens, Trainingsdaten bis September 2021
  • GPT4-1106: temperature 0.2, Eingabe 128.000 Tokens, Trainingsdaten bis April 2023
  • GPT3.5-turbo-16k: temperature 0.2, Eingabe 16.385 Tokens, Trainingsdaten bis September 2021
  • Claude 2.1: temperature 0.2, Eingabe 200.000 Tokens, Trainingsdaten bis Anfang 2023
  • Claude 2.0: temperature 0.2, Eingabe 100.000 Tokens, Trainingsdaten bis Anfang 2023
  • Palm2 Text-bison-32k-2: temperature 0.2, Eingabe 32.768 Tokens, Trainingsdaten bis Mitte 2021
• Der Prompt bestand aus Rolle, Aufgabe und Kontext
  • Die Rolle ließ das Modell einer Anwaltspersona folgen
  • Die Aufgabe bestand darin, den Vertrag anhand gegebener Kriterien zu prüfen sowie das Vorliegen von Fragestellungen und deren Positionen zu beurteilen
  • Der Kontext war ähnlich aufgebaut wie die Anweisungen, die Anwälten, LPOs und Vertragsprüfern bereitgestellt werden, einschließlich Zielpublikum des Vertrags, Hintergrund der Parteien und Verhandlungsszenario

Genauigkeit: nahe beieinander bei der Problemklassifikation, Lücken bei der Positionsbestimmung

• Die Übereinstimmung zwischen Gruppen juristischer Praktiker wurde mit Cronbach’s Alpha bewertet
  • Die Übereinstimmung aller Teilnehmenden war mit 0,923366 hoch
  • Die Übereinstimmung unter Senior Lawyers war mit 0,719308 am niedrigsten
  • Junior Lawyers erreichten 0,765058
  • LPO zeigte mit 1,0 vollständige Antwortübereinstimmung
• Bei der Erkennung rechtlicher Fragestellungen erzielten LPO und GPT4-1106 die besten Ergebnisse nach F-Score
  • LPO: precision 0.933, recall 0.823, F-score 0.874
  • GPT4-1106: precision 0.835, recall 0.910, F-score 0.871
  • Junior Lawyer: precision 0.876, recall 0.845, F-score 0.860
  • Claude 2.0 und GPT4-32k erreichten F-Scores von 0.817 bzw. 0.820
  • GPT3.5 lag mit 0.657 und Palm2 text-bison mit 0.708 eher niedrig
• Bei der Positionsbestimmung von Fragestellungen erzielte LPO den höchsten F-Score
  • LPO: precision 0.915, recall 0.666, F-score 0.770
  • GPT4-32k: precision 0.847, recall 0.660, F-score 0.740
  • Claude 2.1: precision 0.911, recall 0.569, F-score 0.701
  • GPT4-1106: precision 0.857, recall 0.575, F-score 0.686
  • Junior Lawyer: precision 0.866, recall 0.542, F-score 0.667
  • Palm2 text-bison war mit einem F-Score von 0.452 am niedrigsten
• LLMs können bei der Problemklassifikation ähnlich gut oder besser als Junior Lawyers und LPO sein; beim präzisen Auffinden von Klauselpositionen gibt es jedoch große Unterschiede je nach Modell, und sie liegen nicht immer vor menschlichen Praktikern

Geschwindigkeit, Kosten und Einschränkungen bei der Einführung

• Die durchschnittliche Vertragsprüfungszeit war bei LLMs deutlich kürzer als bei menschlichen Praktikern
  • Senior Lawyer: 43,46 Minuten
  • Junior Lawyer: 56,17 Minuten
  • LPO: 201,00 Minuten
  • GPT4-1106: 4,70 Minuten
  • GPT4-32k: 2,11 Minuten
  • GPT3.5: 1,44 Minuten
  • Claude 2.1: 2,05 Minuten
  • Claude 2.0: 1,63 Minuten
  • Palm2 text-bison: 0,73 Minuten
• Palm2 text-bison, das schnellste LLM, schloss die Vertragsprüfungsaufgabe den Berechnungen zufolge 276-mal schneller als LPO und 77-mal schneller als Junior Lawyers ab
• Einrichtung, Tests, Feinabstimmung und Validierung des LLM-Systemprompts dauerten im Durchschnitt 16 Stunden, was etwa dem Zeitaufwand entspricht, der für die Einweisung von Junior Lawyers und LPO in ähnliche Aufgaben anfällt
• Die durchschnittlichen Kosten pro Vertrag unterschieden sich stark zwischen menschlichen Praktikern und LLMs
  • Senior Lawyer: 75,92 US-Dollar
  • Junior Lawyer: 74,26 US-Dollar
  • LPO: 36,85 US-Dollar
  • GPT4-1106: 0,25 US-Dollar
  • GPT4-32k: 1,24 US-Dollar
  • GPT3.5: 0,05 US-Dollar
  • Claude 2.1: 0,02 US-Dollar
  • Claude 2.0: 0,02 US-Dollar
  • Palm2 text-bison: 0,03 US-Dollar
• Die Kostenberechnung basiert auf der durchschnittlichen Arbeitszeit und dem Stundensatz menschlicher Praktiker sowie auf der durchschnittlichen Zahl der Eingabe- und Ausgabe-Tokens und dem Preis pro Token bei LLMs
  • Palm2 text-bison wurde nicht nach Tokens, sondern auf Basis der Zeichenzahl berechnet
• LLMs mit schwacher Leistung bei der Positionsbestimmung von Fragestellungen können Einschränkungen haben, wenn sie Verträge eigenständig markieren sollen; in der juristischen Arbeit ist daher die Modellauswahl ebenso wichtig wie Leistung und Kosten

[GN⁺]

Hacker-News-Kommentare

• Ich betreibe ein Startup für die Erstellung juristischer Verträge, das von Anwälten verfasste Verträge in Templates umwandelt, und habe auch ein Stück weit eine GPT-Analysefunktion gebaut, mit der normale Nutzer Verträge lesen und Fragen dazu stellen können
  Bei der Vertragsprüfung war GPT stärker in der Dokumentenanalyse als in der Dokumentenerstellung, und diese Arbeit stützt das ebenfalls. Wenn man allerdings verschiedene AI-Startups für die Dokumentenprüfung ausprobiert, brechen die meisten in dem Moment zusammen, in dem man konkrete Antworten einfordert. Diese Arbeit wirkte nicht wie ein Dialog zwischen Anwalt und Mandant, sondern eher wie das Auffinden relevanter Klauseln
  GPT trägt keine rechtliche Verantwortung, auch wenn es falsche Antworten gibt, daher ist es nützlich, wenn kluge Menschen selbst recherchieren. Das ist ähnlich wie früher, als kluge Leute auch mit Google selbst recherchieren konnten
  Bei der Vertragserstellung denke ich, dass in den meisten Fällen ein gut geschriebener und geprüfter Bestand an Standardverträgen hilfreicher ist, als wenn GPT jedes Mal spontan einen individuellen Vertrag erzeugt. Anwälte halten an ihren Verträgen fest, und selbst der Prozess, Anwälte zu finden, die die Verträge schreiben, die wir in Templates verwandeln wollen, war sehr schwierig. Letztlich würde das ja ihre eigene und die künftige Einnahmequelle ihrer Fach-Community schmälern. Das Training von GPT-4 hat Hunderte Millionen Dollar gekostet, aber wenn man nur 10 Millionen Dollar in einen gut geprüften Vertragsbestand gesteckt hätte, wäre das wohl nützlicher gewesen als mit demselben Geld ein Modell zur Vertragserstellung zu trainieren
  Die Leute stellen ziemlich unterschiedliche Fragen zu dem, was sie mit Dokumenten tun wollen, und GPT war darin bisher noch nicht gut. In naher Zukunft dürfte es deshalb weiterhin Jobs für Anwälte geben

  • Dass Anwälte ihre Verträge nicht aus der Hand geben, sieht man auch in anderen Fachberufen, besonders in Bereichen mit großen Vorabinvestitionen in Ausbildung
    Vor etwa 20 Jahren wollten zum Beispiel, zumindest dort, wo ich lebe, auch Architekten keine Entwürfe erstellen, die sie günstig an viele Leute verkaufen konnten. Sie dachten, solche Entwürfe würden den Markt für architektonische Leistungen verkleinern. Dabei ist leicht zu erkennen, dass die meisten Menschen gar keinen wirklich einzigartigen Entwurf brauchen
    Am Ende hat sich der Markt darum kaum gekümmert, und sobald jemand eine brauchbare Bibliothek von Entwürfen samt Geschäftsmodell aufbauen konnte, löste sich das Problem von selbst. Aus Sicht der Architekten blieb nur die Wahl, mitzumachen und wenigstens einen Teil mitzunehmen, oder alles zu verlieren
    Ich denke, Anwälte werden denselben Weg gehen. Die einfachsten und profitabelsten Arbeiten werden automatisiert, es wird eine harte Phase geben, der Markt für juristische Dienstleistungen wird schrumpfen, und übrig bleiben komplexere Aufgaben, die sich nicht automatisieren lassen
  • Ich habe kürzlich mit Willful ein Testament erstellt, und das Ergebnis war ziemlich enttäuschend. Das Template war übermäßig starr, sodass selbst Bedingungen wie „wenn X passiert, dann Y, sonst Z“, die man offensichtlich ausdrücken können sollte, schwierig waren, und bei der Vermögensaufteilung waren nur Anteile am Ganzen erlaubt
    Themen, die sich für mich nicht besonders wichtig anfühlen, etwa der Umgang mit Haustieren, bekamen dagegen gefühlt viel Gewicht. Ich konnte das Ergebnis zwar nachträglich anpassen, aber für einen 150-Dollar-Service hatte ich mehr erwartet
  • Ich habe das Gefühl, bei der Codegenerierung durch LLMs ist es im Großen und Ganzen ähnlich. Als Ausgangspunkt sind sie nützlich, aber nicht viel mehr. Vorerst bleibt für uns Programmierer also noch Arbeit übrig
  • Dass AI bei der Prüfung von Vertragsdokumenten zusammenbricht, wenn konkrete Antworten verlangt werden, könnte daran liegen, dass die abschließende Prüfung an einen echten Anwalt in Utah „ausgelagert“ wird
    Bei der Firma, die mir dazu einfällt, suggeriert das Marketingmaterial eine vollständig AI-basierte Lösung, aber tatsächlich scheint sie nicht rein mit AI zu arbeiten
  • Es wurde gesagt, GPT trage keine rechtliche Verantwortung, wenn es falsche Antworten gibt, aber ich hatte verstanden, dass Anwälte auch nicht allein deshalb rechtlich haften, weil sie falsche Antworten geben
    In extremen Fällen mag es ein Ethikproblem sein und Sanktionen der Anwaltskammer nach sich ziehen, aber meistens sind die Folgen doch eher reputationsbezogen, oder? Gibt es Situationen, in denen man einen Anwalt rechtlich haftbar machen kann für einen fehlerhaft aufgesetzten Vertrag?

• Unter den Bereichen, in denen LLMs helfen könnten, erscheint mir der juristische Bereich besonders vielversprechend. In 5 bis 10 Jahren wird man vermutlich, eigentlich zeigt diese Arbeit schon, dass wir fast dort sind, stundenlang mit einem „Anwalts“-LLM sprechen können, das Zugriff auf meine Steuer-, Medizin-, Versicherungs- und Heiratsdokumente hat, und maßgeschneiderte Ratschläge und Informationen bekommen, ohne 500 Dollar pro Stunde zu zahlen
  Es wird eine Welle ganz normaler Menschen geben, die rechtlich deutlich besser informiert sind, und darauf freue ich mich sehr

  • Ich würde dem, was ein LLM sagt, nicht blind vertrauen, aber im Großen und Ganzen wird es meistens richtig liegen und mir zumindest Begriffe für die weitere Recherche liefern. Oder ich kann weiter nachfragen und tiefer graben
    Ich habe LLMs bereits zu Software-Lizenzen und rechtlichen Folgen befragt und konnte mir bei Fragen auf Hobbyprojekt-Niveau eine Grundlage erarbeiten, ohne teure Experten einzubeziehen
    Wenn an einer Entscheidung allerdings viel Geld hängt, würde ich natürlich einen professionellen Dienst nutzen. Bei solchen Themen reicht „meistens richtig“ nicht aus
  • Wir bauen so etwas gerade jetzt
    Unser Kerngeschäft ist die Erstellung juristischer Dokumente, und das läuft nicht mit AI, sondern mit regelbasierter Logik. Als Ergebnis unseres Kerngeschäfts besitzen wir bereits die juristischen Dokumente der Nutzer und sind daher in einer sehr guten Position, eine unterstützende AI-Chatfunktion rund um diese Dokumente zu bauen
    Kürzlich haben wir eine Produktempfehlungs-AI in die Produktionsumgebung ausgerollt. Ein Teil davon ist regelbasiert, die personalisierten Empfehlungstexte werden von GPT-4 erzeugt. Derzeit bauen wir eine AI-Chatfunktion, die Nutzern helfen soll, mehrere juristische Dokumente und unseren Service zu verstehen. Wir wollen damit den First-Level-Kundensupport ersetzen, und bevor sich jemand aufregt: Unser aktueller First-Level-Support ist ebenfalls eine sehr schlechte regelbasierte AI
    Die finnischsprachige Hauptwebsite ist https://aatos.app. Es gibt auch einige Services für SE und DK, und kürzlich haben wir im UK zunächst nur den E-Signatur-Service gestartet
  • Ich könnte mir auch LLMs vorstellen, die Ausgaben senken. Ein LLM, das alle Ausgaben durchgeht, die aktuellen Gesetze, Leistungen, Verbände und Promotions kennt und dann vorschlägt oder ausführt, etwa den Stromanbieter oder die Versicherung zu wechseln oder in einem anderen Laden in größeren Mengen einzukaufen
  • Das ist nicht nur ein juristisches Problem. Ich habe meine Bluttestergebnisse und 23andMe-Daten in ChatGPT hochgeladen, und es hat sie besser analysiert als mein Arzt
  • Ich denke, viele Startups bauen genau so etwas, aber ehrlich gesagt habe ich keine allzu großen Erwartungen. Alle sind immer noch durch Token-Limits eingeschränkt, und die typischen Wege, das zu umgehen, also Retrieval-Augmented Generation (RAG) und Knowledge Graphs, können dem Gewünschten zwar näherkommen, aber meiner Ansicht nach nicht nah genug, um wirklich nützlich zu sein

• Ich würde mir ein Urteil über das Potenzial von LLMs im Rechtsbereich erst dann erlauben, wenn sie auch bei anderen Aufgaben als der Dokumenten- und Vertragsprüfung getestet wurden. In großen Unternehmensrechtsabteilungen wird die Vertragsprüfung oft an Hunderte von Berufsanfängern ausgelagert; sie kommt einer Korrekturarbeit nahe, die echte anwaltliche Fähigkeiten nur minimal nutzt und vor allem die Unternehmensgewinne steigert
  Rechtsdienstleistungen, die Einzelpersonen überwiegend kaufen, sind Familiensachen, Strafsachen und Bagatellklagen. Es scheint mir unwahrscheinlich, dass LLMs in naher Zukunft die fall- und situationsspezifische Analyse bewältigen können, die für die Bearbeitung schwerer Strafverfahren nötig ist. Ich habe auch noch nichts gesehen, das zeigt, dass LLMs den individuellen, fallspezifischen und verworrenen Familiendynamiken gewachsen sind, die in Sorgerechtsfällen oder streitigen Scheidungen eine Rolle spielen
  Es gibt keinen Grund, LLMs nicht als Werkzeug für Anwälte zu akzeptieren, aber ich halte sie ganz und gar nicht für eine Technologie, die bereit ist, über repetitive juristische Korrekturarbeit hinaus in die eigentliche Praxis eingeführt zu werden

  • Menschen sind im Umgang mit komplexen Familiendynamiken wie bei Sorgerecht oder Scheidung ebenfalls nicht besonders gut. Wenn man sich die Ergebnisse ansieht, scheinen die persönlichen Ansichten und Gefühle von Richtern in solchen Fällen stark ins Gewicht zu fallen
    Ohne Gefühle, persönliche Ansichten und die darauf aufbauende Rechtsprechung weiß ich nicht so recht, wie solche Fälle aussehen würden

• Ich leite Data und AI bei einem technologiegestützten gewerblichen Versicherungsmakler. Wir bauen mit GPT-4 ein auf Versicherungsanforderungen spezialisiertes Tool zur tiefgehenden Vertragsanalyse, und schon bei Google habe ich mehrere LLM-Lösungen für das Google-Rechtsteam entwickelt, von der Patentklassifikation bis zur Unterstützung bei der Beweisaufnahme
  Sprachmodelle sind hervorragend darin, juristische Formulierungen zu verarbeiten und Situationen zu analysieren. Viele juristische Anwendungen hängen jedoch an kritischen Entscheidungen, bei denen Fehler inakzeptabel sind, etwa: „Ist dies durch das aktuelle Versicherungsprogramm vertraglich gedeckt?“ Deshalb bauen wir LLM-Produkte im Rechtsbereich nach folgenden Prinzipien
  Es müssen human-in-the-loop-Tools sein, die von Experten gemeinsam genutzt werden. Wo möglich, sollten sie als Entscheidungsunterstützung statt zur Automatisierung konzipiert werden; trotzdem sind enorme Zeiteinsparungen möglich
  Transparenz und Zitate sind nötig. Wenn es sich um ein Tool handelt, das gemeinsam mit Menschen genutzt wird, braucht es Mechanismen zum Vertrauensaufbau. Ob man die Vertragsklauseln hervorhebt, auf die sich das LLM bezogen hat, oder erklärt, warum ein Teil der Analyse nicht geliefert wurde: Es ist wichtig, Belege zu zitieren
  Man sollte auf Präzision statt auf Recall optimieren. In vielen juristischen Anwendungsfällen sind False Positives und Halluzinationen besonders problematisch, daher hilft es, Modell oder Prompting auf Präzision auszurichten

  • Hast du Tipps dazu, wie man GPT-4 zum Zitieren bringt? Nutzt ihr Prompts wie „zitiere bitte die zitierte Passage wortwörtlich erneut“, um dann die Stelle im Original zu finden und hervorzuheben?
    Ich frage mich, ob mit „auf Präzision ausrichten“ Prompt Engineering gemeint ist oder ob ihr GPT-4 tatsächlich feinabstimmt

• Diese Arbeit ist nicht völlig ohne Vorzüge, aber sie wirkt wie ein Vorwand, um überzogene Aussagen über einen ganzen Berufsstand oder eine „Industrie“ zu machen. Vielleicht geht es auch darum, Sichtbarkeit zu bekommen und später irgendetwas zu verkaufen
  Der schlimmste Teil ist, dass als Vorarbeiten nur ein einziges Preprint-Dokument zitiert wird. Dieses Dokument selbst befasst sich zudem nicht mit Vertragsprüfung, sondern mit allgemeinem juristischem Schlussfolgern. Teile von LegalBench sind natürlich „Interpretation“ und bauen auf bestehenden Benchmarks zur Vertragsprüfung auf, aber man hätte relevantere Arbeiten finden können
  Die Automatisierung der Prüfung juristischer Dokumente ist seit etwa 20 Jahren ein sehr aktives Feld in der Sprachverarbeitung, einschließlich Frage-Antwort-Aufgaben, und seit 2017 noch deutlich aktiver. Zumindest Tools wie Kira und Luminance werden, auch ohne LLM-Basis, weltweit bereits ziemlich breit in Rechtsabteilungen und Kanzleien eingesetzt. Anwälte kennen ihre Grenzen daher aus der Praxis bereits
  Allerdings messen Tools vom Typ Kira nicht die Leistung aktueller Modelle und verwenden auch keine transparenten Benchmarks. Insofern sind die Benchmark-Ergebnisse dieser Arbeit eine willkommene zusätzliche Datengrundlage für den Einsatz von LLMs
  Angesichts des begrenzten Umfangs — 10 Dokumente mit einem einzigen Prüf-Playbook — hätte man aber nichts über „Implikationen für die Industrie“ schreiben sollen. Das wirkt ziemlich großspurig und zeigt eher, dass die Autoren die Rechtsdienstleistungsbranche nicht gut kennen, als etwas über deren Zukunft auszusagen
  Wenn dich Funktionen und Grenzen interessieren, sind diese hier ebenfalls als leichte, aber informative Lektüre zu empfehlen: https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad

  • Gibt es bestimmte Papers, die du empfehlen würdest? Die Links führen zu Blogs mit vielen Artikeln

• Ich frage mich, welche rechtliche Argumentation Anwälte sich ausdenken werden, um eine Technologie kleinzureden, die ihre Branche bedroht

  • Umgekehrt dürfte es teurer werden, Anwalt zu sein. Man braucht dann Server für AI-Inferenz, Entwickler und Drittanbieterdienste
  • Zumindest in den USA haben Anwälte die Regierung fest im Griff. Ich rechne damit, dass bald Gesetze kommen, die den Einsatz von AI im Rechtsbereich verbieten oder stark einschränken
    Die Begründungen werden von der Gefahr ineffektiver Vertretung bis zu „Denkt an die Kinder“ reichen. Alles, was hilft, das Monopol zu schützen, wird man nutzen
  • Das ist keine an den Haaren herbeigezogene Argumentation, sondern heißt unbefugte Ausübung von Rechtsdienstleistungen und ist strafbar
  • Urheberrecht scheint der wichtigste Angriffsweg zu sein

• Wenn man sich die jüngsten Fälle ansieht, in denen Anwälte mit ChatGPT recherchiert und beim Verfassen von Schriftsätzen geholfen haben und das dann schiefging, bin ich von dem Optimismus in diesen Kommentaren nicht vollständig überzeugt

  • Die Technologie ist in Ordnung. Die Bildung und Kompetenz gewöhnlicher nichttechnischer Nutzer, ihre Fehler und Grenzen zu verstehen, ist eine ganz andere Frage
  • Das waren alles Idioten, die sogar noch die Kosten für GPT-4 sparen wollten. Sie sind Halluzinationen aufgesessen
  • Das waren Fehler auf Anfängerniveau. Dass sie nicht überprüft haben, ob die Präzedenzfälle tatsächlich existieren
    Eine kleine Pipeline für Generieren→Verifizieren zu bauen ist nicht trivial, aber auch nicht unmöglich. Die erwähnten Fälle wirken wie eine Kombination aus sehr faulen Associates und einem äußerst schlechten Verständnis davon, was LLMs eigentlich tun

• Theoretisch sollten Rechtstexte ähnlich strukturiert sein wie Code. Da sie eine logische Struktur haben, lassen sie sich möglicherweise leichter auf LLMs anwenden als andere natürliche Sprache
  Es gab frühe Meldungen darüber, dass Anwälte „gefälschte“ Präzedenzfälle eingereicht haben, aber die Neugestaltung des juristischen Berufsstands ist nur eine Frage der Zeit. In Kanzleien gibt es viele Menschen, die einfache Arbeiten wie Assistenzaufgaben erledigen, und LLMs können diese Arbeit übernehmen. Sie gelten als White-Collar-Arbeitskräfte, werden aber verschwinden
  Es wird sich ähnlich entwickeln wie beim Programmieren. Es ist, als bekäme man einen Junior-Partner dazu, dessen Arbeit überprüft werden muss, und der standardisierte Dokumentenarbeit übernehmen kann
  Man kann ihnen nicht vollständig vertrauen, aber jungen Entwicklern vertraut man ja auch nicht vollständig. Trotzdem bringen sie einen bis zu etwa 80 % des Weges

  • Ich stimme teilweise zu, dass es sich ähnlich wie beim Programmieren entwickeln wird, aber genau deshalb finde ich es noch verwirrender. Zumindest auf HN sieht man oft die Aussage, dass AI den juristischen Bereich erschüttern und massenhaft Anwälte arbeitslos machen wird, aber dass sich die Softwarebranche auf dieselbe Weise verändern wird, hört man nicht so oft

• Ein interessanter Problemraum. Dazu gibt es eine Art kulturstörende Rechtstheorie, die hier funktionieren könnte
  Nehmen wir an, ein Self-Service für Selbstvertretung für 99 Dollar im Monat würde zwei Dinge tun. 1) Er erklärt dir, wie du alle Vermögenswerte in sichere Instrumente verschiebst. 2) Gleichzeitig ermöglicht er dir, dich in eigener Sache selbst zu verteidigen. Das Ziel ist nicht zu gewinnen, sondern das System zu verstopfen. Wenn man der Gegenseite signalisiert, dass man rechtlich gesehen bankrott ist, dann weiter Anträge einreicht und alles so schmerzhaft wie möglich macht, merkt sie vielleicht, dass das Berufungsverfahren fünf Jahre dauern wird, und gibt einfach auf
  Es stimmt zwar, dass Anwälte ihre juristischen Dokumente ungern an Template-Services abgeben würden, aber ehrlich gesagt könnte es schon ausreichen, einfach vor Gericht zu gehen, massenhaft eingereichte Schriftsätze zu sammeln und damit zu trainieren. Für diese Strategie braucht man nicht zwingend hervorragende Dokumente oder brillante Rechtstheorien. Es reichen Dokumente, die gerade so die Anforderungen an Gerichtseinreichungen erfüllen. So etwas wie: „Ja, wir werden die Töchter Ihrer Haushälterin für 400 Dollar pro Stunde in einer Aussage vernehmen müssen, und wenn es ein Problem gibt, können Sie gern eine Anhörung ansetzen.“ Wenn genug Leute das tun, würde das Rechtssystem faktisch zum Stillstand kommen und die Macht zu den Menschen zurückkehren
  In Gedenken an Aaron Swartz, der im Kampf gegen solche Probleme gestorben ist

  • Das wäre dann ein querulatorischer Prozessführer
    https://www.courts.ca.gov/12272.htm
  • Was unter Punkt 2 beschrieben wird, ähnelt stark dem Dokumententerror (paper terrorism)[0]
    [0]https://en.wikipedia.org/wiki/Paper_terrorism

• „In allen Strafverfahren hat der Angeklagte das Recht, zur Verteidigung die Hilfe eines Anwalts in Anspruch zu nehmen“ — 6. Zusatzartikel zur Verfassung der Vereinigten Staaten
  Wenn LLMs kompetenter würden als durchschnittliche menschliche Anwälte, würde diese Bestimmung dann weiterhin die Hilfe eines menschlichen Anwalts verlangen?

  • Regierungen auf der ganzen Welt würden alles daransetzen, die Menschen dazu zu bringen, diesen Vorschlag ernst zu nehmen und insbesondere in der Strafverteidigung LLMs statt menschlicher Anwälte zu verwenden. Warum wohl?
    Vielleicht ist das wichtigste Merkmal eines Anwalts gar nicht technisches Wissen
  • Der Einsatzzweck ist unterschiedlich. Ein Anwalt kann Dinge wie die Prozessführung stellvertretend übernehmen
    Ein LLM kann bei Fragen des Sachverhalts helfen und könnte, wenn es richtig aufgebaut wäre, sogar stärkere Datenschutzgarantien bieten als ein Anwalt. Allerdings scheint es unwahrscheinlich, dass das tatsächlich passiert
  • Ironischerweise wäre es vielleicht besser, diese Frage an GPT zu stellen
  • Ja. LLMs sind nicht kostenlos, und man braucht weiterhin Fachleute, die die Ausgaben überprüfen
  • Das wird das Gericht entscheiden müssen. Es ist völlig vernünftig anzunehmen, dass ein solcher Fall kommen wird; die Frage ist nur, wie schnell