- Ein Feldexperiment des Harvard Digital Data Design Institute und von BCG bewertete anhand von 758 Consultants, wie stark KI die Produktivität und Qualität von Wissensarbeitern verändert
- Die Aufgaben waren so konzipiert, dass sie statt einfacher Benchmarks einen realitätsnahen Arbeitseinsatz abbilden, darunter Kreativität, analytisches Denken, Schreibfähigkeit und Überzeugungskraft
- Bei Aufgaben, zu denen KI gut passte, steigerte ChatGPT-4 die Arbeitsgeschwindigkeit um mehr als 25 %, die Leistung in menschlichen Bewertungen um mehr als 40 % und die Abschlussquote um mehr als 12 %
- Nicht alle Tätigkeiten profitieren im gleichen Maß; als zentrale Einschränkung zeigte sich eine unregelmäßige technologische Grenze, an der sich starke und schwache Bereiche trennen
- Der Praxiseinsatz teilt sich in Centaurs, die Arbeit aufteilen und delegieren, und Cyborgs, die KI in ihre Workflows integrieren; je nach Aufgabe muss die Kombination aus Mensch und KI bewertet werden
Feldexperiment mit BCG-Consultants
- Karim Lakhani vom Harvard Digital Data Design Institute und weitere Forschende bewerteten gemeinsam mit der Boston Consulting Group (BCG), wie sich KI auf Produktivität und Qualität von Wissensarbeitern auswirkt
- An dem Experiment nahmen 758 Consultants teil, was 7 % der individuellen Beitragsträger bei BCG entspricht
- Die Aufgaben spiegelten den Bereich der alltäglichen Arbeit von Consultants wider
-
Kreativität
-
Analytisches Denken
-
Schreibfähigkeit
- Überzeugungskraft
-
Leistungssteigerung und Grenzen
- In Aufgabenbereichen, in denen KI gut funktionierte, steigerte ChatGPT-4 die Leistung deutlich
- Die Arbeitsgeschwindigkeit stieg um mehr als 25 %
- Die Leistung nach menschlichen Bewertungskriterien stieg um mehr als 40 %
- Die Abschlussquote stieg um mehr als 12 %
- Umgekehrt war die KI-Leistung nicht bei allen Aufgaben gleichmäßig
- Bei einigen Arbeiten lieferte sie hervorragende Ergebnisse, bei anderen blieb sie hinter den Erwartungen zurück
- Dieser Unterschied wird als jagged technological frontier beschrieben
Zwei Nutzungsweisen in der Wissensarbeit
- KI-Nutzer lassen sich grob in zwei Muster einteilen
- Centaurs: Sie teilen Arbeit zwischen Mensch und KI auf und delegieren Aufgaben
- Cyborgs: Sie integrieren KI in ihren eigenen Workflow
- Wichtiger als die binäre Frage, ob KI eingesetzt werden soll oder nicht, ist die Bewertung, welchen Wert die Kombination aus Mensch und KI in jedem einzelnen Arbeitsablauf schafft
1 Kommentare
Meinungen auf Hacker News
Diese Aufgaben wirken wie maßgeschneidert für GPT: In Bereichen wie Kreativität, analytischem Denken, Schreiben und Überzeugungskraft geht es darum, 10 Schuhideen, eine Marktsegmentierung, eine Pressemitteilung und ein inspirierendes Memo für Mitarbeitende schreiben zu lassen.
GPTs Antwort auf die erste Aufgabe: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
Selbstbewusste GPT-Halluzinationen sind von typischen Management-Consulting-Unterlagen kaum zu unterscheiden.
Kunden wollen nicht „10 Ideen“, sondern „10 wertvolle Ideen, die auf einem Verständnis des Geschäfts und des Marktes beruhen“. Wenn ein Management-Consultant auf diese Frage mit so etwas wie „Bootsschuhe“ antwortet, wird er den Kunden nicht lange halten.
Genauso könnte man in der Softwareentwicklung sagen: Wenn man „schreib mir 10 Zeilen Code“ verlangt, ist das von dem Code, den ChatGPT täglich ausspuckt, nicht zu unterscheiden.
Mein Arbeitgeber hat ein paar Mal McKinsey engagiert, das dafür bekannt ist, Leute von HYP einzustellen, und die Ergebnisse waren, wohlwollend formuliert, dürftig. Meine Erfahrungen mit solchen Institutionen waren im Großen und Ganzen ähnlich.
Ich weiß, das ist nur anekdotisch, aber bei solchen Studien habe ich das Gefühl, dass viel Bestätigungsfehler im Spiel ist.
Diese Studie hat den Kernpunkt untergehen lassen. LLMs waren bei manchen Aufgaben besser, machten andere Aufgaben aber tatsächlich schlechter.
Die erste Aufgabe war das, was die Studie als Generalistenaufgabe „innerhalb der Grenze“ bezeichnet, daher ist die Leistungssteigerung nicht überraschend. Es ging darum, ohne starkes Domänenwissen einen gut definierten Bereich zu untersuchen, was zu den Stärken von LLMs passt. Auch die Arbeit, die junge Consultants am Anfang ihrer Karriere in Rollen wie Business Analysten erledigen, besteht größtenteils aus solchen Generalistenaufgaben.
LLMs sind bei solchen allgemeinen Recherchen stark, weil sie viele Informationen verallgemeinert haben, aber genau diese Verallgemeinerung ist auch ihre Schwäche. Man kann sie sich wie Journalisten in einem Forschungsfeld vorstellen. Wenn man eine Zeitung liest, glaubt man, Einsichten zu gewinnen; aber sobald ich einen Artikel über ein Gebiet lese, das ich gut kenne, merke ich, dass die Analyse viele Mängel hat und das Thema nicht auf meinem Niveau verstanden wird.
Die zweite Aufgabe „außerhalb der Grenze“ erforderte Tabellenkalkulationsanalyse, Interviews und eine tiefere, durch Belege gestützte Analyse – Aufgaben, bei denen aktuelle LLMs schwach sind. Deshalb erzielte die Nicht-LLM-Gruppe 84,5 %, während LLM-Nutzer nur auf 60 bis 70,6 % kamen.
Die Schlussfolgerung ist, dass LLMs für verallgemeinerte Recherche hervorragend sind, sich aber weniger für fachliche Analysearbeit eignen.
Wenn ich ChatGPT Programmierfragen stelle, halluziniert es ungefähr 20 % der Zeit, und ich bin erfahren genug, um es zu bemerken. Wenn ich es zu anderen Bereichen befrage, sollte ich wohl davon ausgehen, dass dort mindestens genauso viele Halluzinationen und Fehlinformationen enthalten sind.
Das ist lustig. Die Schreibfähigkeiten von GPT-3/4 sind zwar beeindruckend, aber noch schockierender ist, wie aufgeblasen menschliches Schreiben ist.
„Business Consultant“ ist der Gipfel der Rollen, die solches aufgeblasenes Schreiben erfordern, und ChatGPT kann sich noch mehr wie ein Business Consultant verhalten als die besten Business Consultants.
Um am Arbeitsplatz ernst genommen zu werden, muss man eine knappe Idee oder Daten manchmal zu mehrseitigen Dokumenten oder Slide Decks aufblähen. Dann erkennen andere sofort, dass man sich „Mühe gegeben“ hat.
Die Rolle, die ChatGPT derzeit vielleicht am besten ausfüllt, besteht darin, knappe Texte zu nehmen und sie zu viel längeren, mit Ballast vollgestopften Dokumenten auszubauen. Die Empfänger werden das weitschweifige Dokument oder die Folien ertragen, anerkennen, dass „Arbeit geleistet wurde“, und es danach wieder in ChatGPT eingeben, um es auf den ursprünglichen Kern zusammenfassen zu lassen.
Wenn wir sagen, „LLMs können Text erzeugen“, streichen wir mit einem Pinsel so breit wie eine zehnspurige Autobahn. Unser Vokabular dafür, was Schreiben eigentlich ist und welche Kategorien und Niveaus es gibt, scheint ziemlich begrenzt zu sein.
Bei höflichen E-Mails, inspirierendem LinkedIn-Spam und Corporate-Sprech zum Beispiel ist es lustig und nach meinem Maßstab völlig erwartbar, dass GPT Menschen schon im ersten Versuch übertrifft. Wenn man dagegen den nächsten Band von Game of Thrones oder gut geschriebene Literatur verlangt, bricht es zusammen und wird langweilig, generisch und voller Klischees sowie leerer Handlungen und Figuren.
Wir müssen die Landschaft des Schreibens jetzt in einen besseren konzeptuellen Raum abbilden. Im Moment scheint es, als könnten wir nicht einmal den Unterschied erkennen, der dem zwischen Arithmetik und abstrakter Algebra entspricht.
LLMs sind bei Sprachaufgaben erstaunlich gut. Das meiste von dem, was man früher natürliche Sprachverarbeitung nannte, ist inzwischen fast überwältigt. Zusammenfassungen, Frage-Antwort-Systeme, Sentiment-Analyse usw. sind wirklich auf einem beeindruckenden Niveau.
Auch bei generativen Aufgaben, bei denen die Grenzen von „Fakten“ nicht klar gezogen sind und nichts so dicht ineinandergreifen muss wie in einem Pynchon-Roman, sind sie sehr stark. Kurzgeschichten, Meinungsbeiträge, Produkttexte – dafür sind sie ein Produktivitätsverstärker, der in einer Minute 20 Ideen wie Prototypen auswerfen kann.
Aber ungefähr hier endet der aktuelle Stand. Natürliche Sprache wird in einen latenten Raum gehoben, dort entstehen bis zu einem gewissen Grad trennbare Konzepte, dann wird etwas Ähnliches wie eine affine Transformation durchgeführt und das Ganze wieder zurückgeholt.
Für einen Computer ist das enorm beeindruckend, aber wenn es darum geht, ob er wirklich die Rolle eines teuren Penn-Absolventen ersetzen kann, zahlen die Kunden vermutlich für etwas anderes als brillante Erkenntnisse zur Produktstrategie.
Wenn man ein Bild eines wütenden Baummenschen ein wenig verändert, ist es wahrscheinlich immer noch ein gutes Bild eines wütenden Baummenschen.
Dass die Ausgabe akzeptabel wirkt, liegt daran, dass Menschen mit ihrem menschlichen Gehirn die Risse füllen. Menschen erkennen Müll-Ausgaben, lösen kleine Mehrdeutigkeiten auf und korrigieren unbewusst geringfügige Fakten- und Logikfehler.
Aber man würde LLM-Ergebnisse nicht direkt in ein anderes Computerprogramm einspeisen. Damit fällt der Großteil klassischer Aufgaben der natürlichen Sprachverarbeitung weg.
Ich stimme weitgehend zu, dass sie solche Aufgaben ziemlich gut erledigen können, aber für die Ausführung auf großen Datensätzen reicht die Performance noch nicht aus.
Danach sagen sie einem aber sofort, man solle genau das nicht verwenden, weil es „unethisch“ sei.
Das sagt eher mehr darüber aus, wie nutzlos BCG-Berater sind.
Menschen ohne Hintergrund im Schreiben oder Lektorat glauben, LLMs würden dieses Feld revolutionieren. Echte Autoren und Lektoren sehen nach einmaligem Blick auf LLM-Ausgaben, dass die Korrektur ungefähr so lange dauert wie das Schreiben von Grund auf und sie damit praktisch wertlos sind.
Ebenso halten Menschen, die nicht programmieren können oder ein Thema nur oberflächlich verstehen – besonders Manager, die technisch wirken wollen –, LLM-Ausgaben für sofort deploybar. Gute Programmierer sehen dagegen, dass es so viele große und kleine Probleme gibt, dass sich das Ausbessern gegenüber dem Neuschreiben nicht lohnt.
In einem Team von 20 bis 30 Ingenieuren gibt es normalerweise nur einen Ingenieur, bei dem man sich fragt: „Warum ist der eigentlich bei uns?“, weil er technisch stark ist und gut mit Menschen umgehen kann. Aber egal wie angenehm seine Persönlichkeit ist: Arbeit bleibt Arbeit, und er kann nur Hinweise geben, wie das Management laufen sollte. Er spielt auch Videospiele, hat Familie und ein Leben, also interessiert ihn nicht, wohin das Unternehmen steuert, ebenso wenig wie Management und unnötige Verantwortung. Außerdem sehen die Leute weiter oben ihn nur als „Ingenieur“, nicht als „Manager“.
Wenn die übrigen Ingenieure und Manager ebenfalls die Haltung „nicht mein Problem“ einnehmen, entsteht eine seltsame Kommunikationslücke. Ingenieure, die nah am Produkt arbeiten, wollen nicht mit Managern reden, weil sie befürchten, dass es dann heißt: „Wenn du es so gut weißt, mach du es doch.“ Manager wollen nicht mit Ingenieuren reden, weil sie befürchten, dass es dann heißt: „Wenn dich das so interessiert, mach du es doch.“
In diesen immer größer werdenden Abstand zwischen Managern und Ingenieuren treten Managementberater. Dank der Flexibilität, die ihnen das Topmanagement gibt, können sie zwischen Ingenieuren und Managern hin- und hergehen, mit allen sprechen und sind nicht an „dann mach du es doch“ gebunden. Sie liefern einen Bericht ab und nehmen in einem Monat das Jahresgehalt eines Managers oder Ingenieurs mit.
Wenn man ehrlich darüber nachdenkt, gibt es vieles, von dem das Unternehmen weiß, dass es getan werden müsste, das aber niemand ausspricht. Denn wenn man es ausspricht, gibt es mehr Arbeit und mehr Risiko. Ein „guter“ Managementberater findet solche Dinge, die man „nicht tun will, aber tun muss“, berichtet sie dem Topmanagement, und das Management baut ein System, um diese Dinge durchzusetzen. Wenn jemand einen Managementberater braucht, kann er mich einstellen. Ich werde auf 20 Arten erklären, warum das Unternehmen nicht besonders gut ist; 18 davon wird ChatGPT generieren.
Es ist lustig, dass man solche Kommentare in jedem Thread vorhersagen kann. Wenn man immer wieder „das sagt mehr über [Einfügen] aus“ schreibt, verliert die Formulierung selbst ihre Bedeutung. Könnte man nicht etwas Aussagekräftigeres sagen?
Nicht überraschend. GPT ist beängstigend gut und passt auch sehr gut zu Programmierung.
Ich bitte GPT-4, Code zu schreiben, und probiere aus, ob er funktioniert, aber selten kopiere ich diesen Code einfach unverändert hinein. Ich schreibe ihn selbst so um, dass er zum Kontext der Codebase passt. Trotzdem spart es viel Zeit, wenn man unsicher ist, wie man vorgehen soll.
Manchmal gefallen mir die Vorschläge nicht, aber auch das ist nützlich. Oft wird der Problemraum dadurch im Kopf klarer.
Ich gab ihm eine ziemlich knifflige Aufgabe, zu der ich per Google keine Antwort finden konnte und bei der ich nicht einmal sicher war, ob sie möglich ist. Die Anforderung war: „Gegeben sei ein Python-Objekt; liefere mir eine Liste der Funktionen, die dieses Objekt als Argument erhalten haben. Bestehenden Code darf ich nicht ändern, nur die Objektstruktur.“
Zuerst kamen wenig passende Ideen wie Funktionen ändern, sie mit Decorators wrappen oder den aktuellen Stack-Trace ansehen, aber nach ein paar Hin-und-her schlug es vor, das Problem durch Abfangen des Python-Tracers zu lösen, und das funktionierte tatsächlich.
Erstaunlich war, dass es die Bausteine kombiniert hat, obwohl es so etwas vermutlich nicht in den Trainingsdaten gesehen hat. Das war fast auf menschlichem Niveau. Als ich nachfragte, erklärte es auch problemlos die Einschränkung, dass es mit Debuggern interferieren kann.
Die Beispiele auf Seite 10 des Originals sind etwa: mindestens 10 neue Schuhideen für unterversorgte Märkte oder Sportarten vorschlagen, den Markt der Schuhindustrie nach Nutzern segmentieren, einen Entwurf für eine Pressemitteilung zur Produktwerbung schreiben, ein inspirierendes Memo an Mitarbeiter verfassen, das erklärt, warum das Produkt besser ist als Konkurrenzprodukte.
Persönlich wirkt das auf mich so, als hätte es kaum echten Wert.
Ich meine nicht, dass du so ein Programmierer bist, aber es macht diesen Typ Programmierer definitiv möglich.
Aus Sicht eines ehemaligen Beraters stellt sich die naheliegende nächste Frage: Was wäre, wenn man Berater ganz abschafft und GPT-4 direkt für Kunden arbeiten lässt?
Wenn ein Kunde einen Berater beauftragt, muss er Anforderungen erklären, Ergebnisse prüfen, Feedback geben und auch an ein paar Meetings teilnehmen.
Wenn GPT-4 Berater aber viel besser macht, scheint es auch deren Arbeit übernehmen zu können. Rechnet man dazu noch die geringeren Kommunikationskosten, weil man nicht mit einer externen Gruppe arbeitet: Warum sollte der Kunde nicht die Kosten für externe Berater und den Managementaufwand streichen und den Nutzen direkt selbst einstreichen?
Besonders dann, wenn der Kunde bereits Domain-Experte ist und nur zusätzliche Arbeitskraft braucht. Ein Marketing-Brand-Manager kennt zum Beispiel sein Produkt und Marketing gut, arbeitet aber vielleicht wegen interner Personalgrenzen mit Marketingberatern zusammen, weil er mehr Ressourcen braucht.
Ich frage mich, ob BCG die Konsequenzen ihrer Beteiligung an dieser Studie wirklich zu Ende gedacht hat. Von „Berater helfen Kunden besser“ zu „es hilft Kunden direkt und zeigt, dass Berater kaum nötig sind“ scheint es ein sehr kurzer Schritt zu sein.
Besonders, wenn der Kunde einfach einen Praktikanten einstellt und ihm GPT-4 in die Hand gibt.
Aus Sicht eines CEO kann man sie holen, viel Geld zahlen, sie Pläne und Strategien ausarbeiten lassen und dann, wenn es gut läuft, den Ruhm einstreichen; wenn nicht, kann man sagen: „Ich habe eng mit den Experten von McKinsey zusammengearbeitet. Also ist es nicht meine Verantwortung.“
HN ist wirklich schlecht im Vorhersagen. Noch vor wenigen Monaten waren die Kommentare voll von Leuten, die selbstbewusst sagten, LLMs seien nichts als stochastische Papageien und würden nichts erreichen.
„Ich kann den Gedanken nicht loswerden, dass der nächste KI-Winter unmittelbar bevorsteht“ — ja, klar.
[0] https://news.ycombinator.com/item?id=23886325
Und wenn man den Artikel liest, ist das Niveau der Outputs, über das wir sprechen, ziemlich genau das: mindestens 10 neue Schuhideen für unterversorgte Märkte oder Sportarten, Marktsegmentierung der Schuhindustrie, Pressemitteilungen zur Produktwerbung, inspirierende Memos für Mitarbeiter dazu, warum das Produkt besser ist als Konkurrenzprodukte.
Außerdem schnitt bei der zweiten Aufgabe die Nicht-LLM-Gruppe deutlich besser ab.
Wenn man eine absurd schlechte Vorhersage gemacht hat, heißt das, dass das eigene Modell des Gegenstands danebenlag und korrigiert werden muss.
Wenn man das Modell aber überhaupt nicht anpasst und weiter Vorhersagen macht, ist das ein großes Problem.
Mit der Zeit werden viele Bürotätigkeiten durch Dienste wie GPT optimiert werden.
Ich hatte genug technisches Gespür, um zu wissen, dass viele meiner Bürotätigkeiten wiederholbar und per Skript erledigbar sind, aber nicht genug, um die Skripte selbst zu schreiben. Dank ChatGPT konnte ich diese Skripte erstellen, und es dauerte etwa 15 bis 20 Stunden, bis sie perfekt funktionierten.
Ich kannte nur ein ganz klein wenig Python-Scripting und wusste überhaupt nichts über Dinge wie pandas oder xlswriter, konnte aber etwas bauen, das mir 20 bis 25 Stunden pro Woche spart.
Auf HN gibt es viele gute Programmierer, deshalb unterschätzt man dort offenbar, welche Welt sich durch Dienste wie ChatGPT für Nichtprogrammierer öffnet. Umgekehrt kann es dazu führen, dass neugierlose Menschen weniger lernen. Früher hätte ich gegoogelt und mir zusammengesucht, wie man mehrere snapd-Dienste per Skript stoppt; jetzt frage ich ChatGPT und bekomme in weniger als einer Minute ein funktionierendes Skript.
Im Abstract gibt es zwei Punkte, die man hervorheben sollte.
Dort ist von „18 realistischen Beratungsaufgaben innerhalb der Grenzen der KI-Fähigkeiten“ die Rede. Das heißt, es wurden bewusst Aufgaben ausgewählt, die GPT-4 erledigen kann. Es gibt viele Aufgaben, die GPT-4 nicht kann; wenn man also von einer deutlichen Leistungssteigerung spricht, muss man den Kontext mitdenken, dass sie auf Aufgaben, die gut zu GPT-4 passen, beschränkt ist.
Außerdem heißt es dort: „Teilnehmende mit unterdurchschnittlicher Leistung verbesserten sich gegenüber ihrem eigenen Score um 43 %, Teilnehmende mit überdurchschnittlicher Leistung um 17 %.“ Selbst obwohl nur Aufgaben ausgewählt wurden, die besonders gut zu GPT-4 passen, lag die Verbesserung der überdurchschnittlich Leistungsstarken bei 17 %. Wenn sich solche Zuwächse insgesamt zeigen, ist das immer noch beeindruckend, aber ich halte 17 % für deutlich weniger, als manche verkaufen wollen.
Überdurchschnittlich Leistungsstarke haben mehr Vertrauen in ihre eigenen Fähigkeiten und dürften GPT-Ausgaben eher stärker überarbeiten. Deshalb erstellt die unterdurchschnittliche Gruppe das Endergebnis schneller, und da dieser Test zeitlich begrenzt war, dürfte Geschwindigkeit wichtig gewesen sein.
ChatGPT ist sehr gut darin, wortreich auszuholen, und Marketingtexte sowie inspirierende Botschaften sind im Kern wortreich. Mit anderen Worten: Die Aufgaben waren wie maßgeschneidert für ein unassistiertes ChatGPT, wodurch High Performer eher im Nachteil waren.
Kleine Effizienzsteigerungen werden beim langfristigen Wachstum zu einem großen Vorteil. Auch 17 % sind eine enorme Verbesserung.