- Kritik daran, dass LLM-Texte – von studentischen Antworten bis zu Paper-Reviews – äußerlich plausibel wirken, den Lesenden aber kaum neue Gedanken oder Erfahrungen vermitteln
- Die Gründe, warum Menschen Schreiben auslagern, lassen sich grob einteilen: Sie halten die Aufgabe für unwichtig, glauben, das Modell schreibe besser als sie selbst, oder wollen kommerziell automatisch generierte Texte erstellen
- Wenn der Zweck des Schreibens darin besteht, eigene Gedanken zu vermitteln, ist die Ausgabe eines LLM ohne eigene Gedanken eher ein leeres Produkt als bloßes Plagiat
- Auch scheinbar formale Aufgaben wie Kursarbeiten und Paper-Reviews verlangen tatsächlich Denken und Urteilsvermögen; ein LLM erzeugt nur Text, ersetzt aber nicht den Denkprozess
- Ein 234 Wörter langes Beispiel, das mit Gemini erstellt wurde, wiederholte lediglich den Prompt weitschweifig und fügte Allgemeinplätze hinzu; lesenswerter als das Ergebnis war der ursprüngliche Prompt
Stil und Grenzen, die beim Schreiben mit LLMs sichtbar werden
- Beim Bewerten studentischer Aufgaben stößt man häufig auf Texte, die wie ChatGPT-Ausgaben wirken, etwa Antworten, die die Nachteile von Euler-Winkeln (Euler angles) erklären
- Solche Antworten sind meist weitschweifig und vage, hängen am Bullet-Stil mit Fettdruck und neigen dazu, den Prompt zu wiederholen
- Der ChatGPT-artige Stil ist auffällig genug, um ihn zu erkennen, gilt aber nicht als hinreichend eindeutiger Beweis, um den Fall an ein Ehrenkomitee weiterzugeben
- Selbst wenn man das Problem anspricht, ist schwer sicher zu sein, ob der Gewinn an akademischer Integrität den Zeitaufwand eines Streits über den Fall überwiegt
Warum Menschen LLMs das Schreiben überlassen
-
Aufgaben, die als unwichtig empfunden werden
- Dies wird als verbreitete Haltung bei Studierenden gesehen, die Kurse als Abfolge von Hürden auf dem Weg zum Abschluss betrachten
- Eine ähnliche Motivation nimmt auch bei Paper-Reviews zu; als Beispiel wird auf paper reviews verwiesen
- Viele Forschende sehen Reviews möglicherweise als Nebenaufgabe in einem ohnehin überlasteten Arbeitsalltag und haben das Gefühl, kaum Zeit für gute Reviews aufbringen zu können
-
Wenn man glaubt, das Modell schreibe besser
- Einige Kolleginnen und Kollegen glauben, dass LLMs bessere Texte erzeugen als sie selbst
- Gefühlt tritt dieses Phänomen häufiger bei Menschen auf, für die Englisch eine Zweitsprache ist
- Ähnliches gilt für Menschen, die gerade erst Programmieren lernen; es hängt mit der Haltung zusammen, Programmieren als eine Art geheimnisvollen Zauberspruch zu betrachten, den man auswendig lernt und aufsagt
- Auch im wissenschaftlichen Schreiben gibt es ähnliche Nutzungsmuster; als Beispiel wird auf academic writing verwiesen
-
Automatisch generierte Texte mit Eigeninteressen
- Beispiele sind Astroturfing, Kundenservice-Chatbots und die ausschweifenden Einleitungen von Online-Backrezepten
- Solche Texte sind nicht dafür geschrieben, von Menschen gelesen zu werden, und enthalten auch keine Absicht des Autors
- Da es hier um individuelle Motive geht, wird dieser Typ nicht vertieft behandelt
Der Zweck des Schreibens und die Leere von LLM-Ausgaben
- Der wichtigste Grund, warum Menschen schreiben, besteht darin, eigene Gedanken zu vermitteln
- Diese Gedanken müssen nicht außergewöhnlich oder akademisch sein; Urlaub, der eigene Hund oder die Lieblingsfarbe können völlig ausreichende Themen sein
- Entscheidend ist, dass der Gedanke der eigene ist
- Wer die Worte anderer kopiert, vermittelt zwar nicht die eigenen Gedanken, aber immerhin menschliche Gedanken
- Ein LLM hat seiner Struktur nach keine eigenen Gedanken; seine Ausgabe zu veröffentlichen, ist daher nahezu eine zwecklose Handlung
Auch scheinbar unwichtige Aufgaben sind tatsächlich wichtig
- Unter Reddit-Beiträge eine computergenerierte Zusammenfassung des Originals als Kommentar zu setzen, wird als Zeitverschwendung für alle betrachtet
- Wenn das Original so dünn ist, dass eine Zusammenfassung ausreicht, lohnt es sich nicht, per Kommentar daran teilzunehmen
- Wenn das Original echte menschliche Lektüre verlangt, ist die Zusammenfassung sinnlos
- Der Zweck schriftlicher Kursaufgaben liegt nicht im Textprodukt, sondern darin, Studierende zum Denken zu zwingen
- Ein LLM erzeugt zwar ein Produkt, aber keinen Denkprozess
- Bei Paper-Reviews verursacht eine halbherzige Review den ursprünglichen Autorinnen und Autoren nur unnötige Arbeit und liefert der Redaktion keine Informationen, die sie nicht ohnehin schon hat
Gegen die Überzeugung, „das Modell ist besser“
- In professioneller Kommunikation werden LLMs vor allem genutzt, um Ballast zu erzeugen oder den Ton des ursprünglichen Prompts zu glätten
- Dabei wird die ursprüngliche Bedeutung verwässert, und selbst einfachen Gedanken werden mehrere Schichten unnötiger Worte hinzugefügt
- Mit Glück ist das Ergebnis nicht falsch, doch häufig werden wichtige Details komplett erfunden oder schwer verständliche Texte erzeugt
- Bei unbeholfenen menschlichen Texten kann man zumindest erwarten, dass eine innere Einsicht geteilt werden soll; bei LLMs kann man diese Erwartung nicht haben
Programmierung und Vibe Coding
- Für Programmiererinnen und Programmierer besteht etwas mehr Verständnis, doch die langfristigen Folgen werden als subtiler schädlich eingeschätzt
- Mit Blick auf Peter Naurs Programming as Theory Building wird angenommen, dass das Schreiben hinreichend komplexer Programme nicht nur Code als Produkt erfordert, sondern auch eine Theorie der logischen Struktur hinter dem Code
- Vibe Coding wird als Methode definiert, bei der die Programmerstellung nahezu vollständig der LLM-Generierung überlassen wird
- Diese Methode erzeugt Produkte ohne Theorie; dadurch ist der Code praktisch nutzlos
- In Naurs Begriffen wäre ein solches Programm tot; hier wird es eher damit verglichen, unmittelbar nach der Geburt tot zu sein
- Als Beispiel für eine vibe-coded App mit Sicherheitsproblemen wird eine vibe-coded Recipe-App, die einen OpenAI-Schlüssel preisgab, genannt
Gemini-Experiment
- Die These des Essays wurde in Google Gemini eingegeben, mit der Bitte, den Text in zwei kurzen Absätzen auszuformulieren
- Geminis Ausgabe umfasste 234 Wörter und wurde als bloße ausführliche Umformulierung des Prompts bewertet
- Der Ton blieb bei breiten, bedeutungslosen Allgemeinplätzen; die Wortwahl war großspurig, aber nicht geschmackvoll
- Der Beispielsatz „Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence.“ dient als Beispiel dafür, wie aus einem kleinen Gedanken ein großer Satz gemacht wird
- Dieselbe Bedeutung lässt sich zu „Perhaps it stems from a desire for efficiency.“ kürzen; weiter geschliffen wird daraus „Perhaps people do it for efficiency.“
- Dieses Experiment führt zu dem Schluss, dass LLMs hervorragend darin sind, Unsinn aufzublähen, darüber hinaus aber wenig taugen
Fazit: Lieber den Prompt lesen
- Der Autor erklärt, dass er bei Ausgaben kreativer generativer Modelle – ob Bild, Text, Audio oder Video – noch nie lieber das Ergebnis als den ursprünglichen Prompt gesehen hätte
- Das generierte Ergebnis hat weniger Substanz als der Prompt, und im Entstehungsprozess fehlt eine menschliche Vision
- Der Zweck von Kreativität besteht darin, die eigene Erfahrung zu teilen; wenn es keine Erfahrung zu teilen gibt, gibt es keinen besonderen Grund, etwas zu schaffen
- Der Text endet mit dem Fazit, dass etwas, das es nicht wert ist, geschrieben zu werden, auch nicht wert ist, gelesen zu werden
1 Kommentare
Meinungen auf Hacker News
Ich habe Kolleginnen und Kollegen bei der Arbeit, die mit LLMs absurd weitschweifige Texte erzeugen, schon mehrmals gebeten, mir doch einfach nur den Prompt zu schicken.
Wenn ein LLM aus begrenztem Input einen langen Text machen kann, dann braucht man nur diesen knappen Input; den Rest sehe ich als erfundenes Beiwerk.
Wenn ich einen klammerreichen, halb strukturierten Bewusstseinsstrom tippe oder diktiere und um eine Zusammenfassung bitte, bringt es oft besser auf den Punkt, was ich sagen wollte.
Das berührt auch die Situation aus Pascals berühmtem Satz: „Hätte ich mehr Zeit gehabt, hätte ich einen kürzeren Brief geschrieben.“
Zur Einordnung: Als ich den obigen Satz von einem LLM komprimieren ließ, kam etwa heraus: „Wenn es schwerfällt, vage Gedanken auszudrücken, hilft es, halb geordnete Gedanken ausführlich zu sagen oder aufzuschreiben und ein LLM um eine Zusammenfassung zu bitten; es erfasst die Absicht klarer und wirkungsvoller.“
Damit wird KI einfach zu einem verlustbehafteten Schön-Ausgabe-Gerät.
Als ich ihn endlich erreichte, stellte sich heraus, dass er die eigentlichen Anforderungen in ChatGPT eingegeben hatte und „keine Zeit hatte, das Ergebnis zu prüfen“; das hat mich wirklich wütend gemacht.
Ein LLM kann über mich nicht mehr wissen als das, was ich in den Prompt gegeben habe; daher kann das Ergebnis nicht mehr Informationen liefern als der Prompt.
Bei Fragen zu öffentlichem Wissen ist es viel nützlicher, weil es neue Informationen aus externem Material heranziehen kann.
Mir gefällt die Sichtweise des Autors: Es geht nicht um ein Werturteil über Personen, die LLMs wie ChatGPT oder Gemini nutzen, sondern darum, dass die Gedanken, die in den Prompt geflossen sind, zwangsläufig interessanter, origineller und menschlicher sind als die Ausgabe des LLM.
Aus meiner Erfahrung mit LLMs beim Schreiben von Code: Wenn der Prompt Müll ist, ist der Code objektiv Müll.
Wenn ich nicht weiß, was ich will, und weder Idee noch Struktur noch Plan habe, kommt genau solcher Code heraus.
Ich würde auch gern Gegenargumente von Leuten hören, die in letzter Zeit LLMs für wissenschaftliches oder kreatives Schreiben genutzt haben. Abgesehen davon, bei persönlichen Programmierprojekten durch Boilerplate oder ein Grundgerüst zu kommen, habe ich aktuelle Modelle nicht verwendet.
Am Ende bleibt es immer wieder bei Müll rein, Müll raus.
Vor ein paar Wochen habe ich genau das auch als Grund genannt, warum heutige LLMs keine hervorragenden Kampagnenbauer für Dungeons and Dragons sein können.
Menschen brauchen keine „Constraints“. Wenn man eine fähige Autorin oder einen fähigen Autor bittet, sich ruhig hinzusetzen und eine neue Romanhandlung auszudenken, dann gelingt das einfach.
https://news.ycombinator.com/item?id=43677863
Allerdings kann ein LLM ein hervorragendes Resonanzbrett für Ideen sein.
Wer noch mehr Belege braucht, kann die Temperatur auf 1.0 stellen und irgendein LLM fragen: „Stell dir für eine DND-Kampagne einen eigenständigen Dungeon-Raum mit einem einzigartigen, bisher nicht dagewesenen Rätsel vor. Beschreibe Rätsel, Lösung, Raumaufbau usw. konkret und mach es völlig neu und fantasievoll.“
Ich wette, in 99 % der Fälle kommt ein formelhaftes, physikbasiertes Rätsel wie „The Resonant Hourglass“ oder „The Mirror of Acoustic Symmetry“ heraus.
Man gibt Ideen hinein, streicht, was raus soll, legt Ton und Knappheit fest und lässt mehrere Entwürfe durchlaufen.
https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
Gleichzeitig sind gerade die Menschen, die LLMs für solche Zwecke brauchen, wahrscheinlich am schlechtesten in der Lage, die Schwächen der Ausgabe zu erkennen. So wie ich keinen spanischen Text schreiben kann, kann ich auch die Qualität einer von einem LLM erstellten spanischen Übersetzung nicht beurteilen.
Extrem betrachtet könnten Studierende heute auf LLMs angewiesen sein, ihnen vertrauen, ohne es besser zu wissen, und am Ende alles glauben, obwohl sie nichts wissen und nicht einmal Qualität oder Leistungsfähigkeit beurteilen können.
Ein Bereich, den ich anders sehe als der Autor, ist Coding. Ich mag Algorithmen, aber Code wird geschrieben, damit Computer ihn lesen, und ich sehe kein großes Problem darin, wenn Computer Code schreiben.
LLMs haben mir viel Zeit beim Schreiben einfacher Funktionen gespart, sodass ich die langweilige Fleißarbeit in Projekten schneller hinter mir lassen und mich auf die interessanten Teile konzentrieren konnte.
Miyazakis Aussage, „der Mensch hat das Vertrauen in sich selbst verloren“, trifft es für mich am besten. LLMs können großartige Werkzeuge sein, um repetitive und langweilige Arbeit zu automatisieren; traurig ist aber die Vorstellung, sie könnten die einzigartige Perspektive eines Menschen ersetzen.
Beim Strukturieren helfen sie kaum. Schreiben bedeutet, ein Verständnis so klar zu haben, dass man es auf Worte reduzieren kann, an denen andere festhalten können.
Ich stimme zu, dass LLMs dabei nicht besonders helfen.
Allerdings müssen alle Informationen im Prompt enthalten sein. Andernfalls halluzinieren sie.
Das Ergebnis ist nicht auf einem Niveau, auf dem man es unverändert einreichen könnte, aber es reicht, um anzufangen und zu iterieren, statt auf eine leere Seite zu starren.
Ich würde sie auch gern Methodik-Abschnitte schreiben lassen. Denn dort wiederholt man in jedem Paper fast dieselben Informationen in anderen Formulierungen.
Aber ich traue ihnen bei der Genauigkeit technischer Details noch nicht. Ein LLM ist nur ein Sprachmodell; es hat kein Wissen und kein Verständnis.
Wenn man es so benutzt, wirkt ein LLM wie ein Rückwärts-Kompressionsalgorithmus. Eine einfache Idee wird vom LLM aufgebläht und unordentlich gemacht, und jemand anderes fasst sie dann wieder mit einem LLM zu etwas zusammen, das dem ursprünglichen Prompt nahekommt.
Die Einzigen, die von dieser sinnlosen Arbeit profitieren, sind Sam Altman und Co.; sie kassieren etwa $0.000000001 dafür, dass sie das ermöglicht haben.
Ausnahmen sind repetitive oder Boilerplate-artige Texte und Code, bei denen wenige Informationen lang ausformuliert werden müssen.
http://prize.hutter1.net/
Man muss sich nur das Vorwort und die FAQ ansehen – und dass alle Gewinnerbeiträge inzwischen neuronale Netze sind.
Die Antwort auf die Ernüchterung des Dozenten ist meiner Meinung nach ziemlich einfach. Viele Menschen sind nicht an der Universität, um zu lernen und ihren Geist zu bilden, sondern um in einem brutalen sozialdarwinistischen Wirtschaftssystem zu überleben.
Leute, die wirklich Euler-Winkel studieren wollten, waren schon immer eine winzige Minderheit; der Rest sieht es als Hürde, die man nehmen muss, um einen Job zu bekommen, der vielleicht von KI automatisiert wird.
Aus Sicht der Konditionierung muss der Dozent Schülern, die offensichtlich geschummelt haben, einfach Punkte abziehen.
Theoretisch werden die Studierenden dann entweder aufhören oder gut genug darin werden, nicht erwischt zu werden. Letzteres könnte in Zukunft eine gefragte Fähigkeit sein.
Es ist schon seltsam, wenn Eltern sagen: „Wenn du diese Hürden nimmst, geben wir dir für jeden Dollar, den du in irgendeiner Firma mit dem Mahlen von Sesam verdienst, noch zwei Dollar dazu.“
Zu arbeiten und sich selbst weiterzubilden ist doch etwas Gutes und Würdevolles, oder? Ist das ein schlechter Deal?
Zumindest steht das so auf seiner Seite: https://claytonwramsey.com/about/
Professoren bekommen zwar auch keine echte pädagogische Ausbildung, aber auch bei ihm sieht es nicht so aus, als hätte er richtige Didaktik gelernt.
Am Ende ist er ziemlich jung, und der Text wirkt eher wie eine spontane, starke Reaktion. So sollte man ihn auch einordnen.
Es gibt viele Möglichkeiten, LLMs zu verwenden.
Das Problem ist, dass manche Leute einen kurzen Einmal-Prompt hinwerfen und eine generische, langweilige Ausgabe bekommen. „Garbage in, generic out“ eben.
Ich nutze sie tatsächlich so: Gedanken ausschütten und beim Strukturieren helfen lassen, Feedback zu Formulierungen und Satzübergängen bekommen, als Nicht-Muttersprachler Ton und Stil verbessern, dabei aber die eigene Persönlichkeit bewahren, unordentliche Sätze vereinfachen, Lücken oder Probleme im Text finden usw.
Meist ist es ein iterativer Prozess, und die zusammengefasste Länge der Prompts ist länger als das Endergebnis. Feedback arbeite ich außerdem manuell ein.
Wenn jemand nur „Schreib einen Blogpost über X“ eingibt, wäre der Prompt interessanter als die Ausgabe. Aber wenn es fünf Überarbeitungsrunden und Kontext gibt: Würdest du dann wirklich statt der Endfassung alle Prompts und Entwürfe lesen wollen?
Falls ja, hier sind sie: https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...
Nebenbei: Der erste Entwurf, den du ChatGPT gegeben hast, ist besser als der hier gepostete Text.
Das ist Studierenden sehr schwer zu vermitteln. Wenn ein Lehrer darum bittet, über ein historisches Ereignis zu schreiben, ist das kein Ritual auf dem Weg zum Abschluss.
Ziel ist es, mehrere Fähigkeiten zu verbessern: Informationen sammeln, verstehen, aufnehmen, Gelesenes kritisch betrachten und schließlich eine eigene Meinung bilden.
„Ich schütte Gedanken aus und lasse das LLM sie ordnen“ klingt so, als hättest du kein Interesse daran, die Fähigkeit zu entwickeln, Informationen wirklich aufzunehmen.
Für mich wirkt das wie ein Signal, dass du kein Interesse daran hast, ein interessanter Mensch zu werden. Ich halte das für eine Frage der Reife, und irgendwann wirst du es verstehen.
Genau das sagt der Autor letztlich auch: Mich interessiert, was du zu einem Thema zu sagen hast, das dir wichtig ist – nicht, was du tun kannst, um so zu tun, als wäre es dir wichtig oder als wüsstest du Bescheid.
Wenn du deine Gedanken nicht selbst ordnen kannst, ist es schwer zu glauben, dass du schon an einem interessanten Punkt angekommen bist; und um dorthin zu kommen, braucht es Übung.
Ich mache mir Sorgen, dass man am Ende kein interessanter Mensch wird, wenn man nicht übt und stattdessen LLMs verwendet.
Auch das ist nicht immer einfach, sodass man manchmal iterieren muss, etwa mit „Übersetze es in die Sprache, wie sie von Menschen in dieser Region verwendet wird“.
In einem Punkt hat der Autor recht: Als Nutzer einer Zweitsprache erzeugt ein LLM bessere Texte als ich.
Aber der Prompt ist in einer Fremdsprache und mit Entwurfsfragmenten vermischt, also für Leser nutzlos; deshalb werde ich ihn nicht teilen.
Für mich ist das eher so, als würde man den Entwurf eines Buches an Lektoren und Übersetzer weitergeben.
Seit dem Aufkommen von AI denke ich immer wieder über das Verhältnis von Prompt zu Ausgabe nach.
Wegen der Eigenschaften der Systeme, die wir nutzen, nimmt man ganz selbstverständlich an, dass der Prompt kürzer ist als die Ausgabe. Aber je genauer man formuliert, was man will, desto länger wird der Prompt, während die Größe der Ausgabe gleich bleibt.
Wenn man statt eines Essays beschreibt, was in dem Essay stehen soll, wird diese Beschreibung zwangsläufig länger als der Essay selbst. Denn zu beschreiben, was man sagen will, erfordert mehr Text, als es einfach zu sagen.
Die Tatsache, dass wir erwarten, mit weniger Aufwand mehr Aufwand zurückzubekommen, zeigt, dass das, was wir erhalten, am Ende Fülltext ist.
Deshalb sind Prompts interessanter; oft habe ich angefangen, einen Prompt zu schreiben, weil ich nicht wusste, was ich schreiben sollte, und dabei wurde mir plötzlich klar, was ich eigentlich sagen wollte.
Insgesamt ist AI viel nützlicher darin, komplexe Ideen einfach zu verdichten, als einfache Ideen komplex auszubauen.
Wenn man ein neues System, das man bauen will, auf Englisch so präzise spezifizieren kann, dass man genau das gewünschte System bekommt, hätte man auch gleich Code schreiben können.
Wenn ich eine Stunde lang einen Prompt mit 500 Wörtern schreibe, zusätzliche Daten wie X Tabellenzeilen anhänge und das LLM mir X perfekte Antworten zurückgibt, ist es egal, dass das Ausgabeverhältnis schlechter ist, als wenn ich die Zeichen selbst getippt hätte.
Entscheidend ist, ob ich die Arbeit in dieser einen Stunde plus ein paar Minuten LLM-Verarbeitungszeit schneller erledigt habe.
Bei der Programmierung ist es ähnlich. Der Zweck eines LLM ist nicht, besseren Code zu schreiben, als ich selbst schreiben könnte, sondern hinreichend guten Code sehr viel schneller zu schreiben.
Allerdings sind Prompts, wie andere schon gesagt haben, vielleicht gar nicht so interessant oder repetitiv, wie wir denken. Es kann auch einfach heißen: „Das ist die Aufgabe, wie lautet die Antwort?“
Ich stimme der Kernaussage des Autors voll zu, aber die wirtschaftlichen Bedingungen und Hürden, die mit dem Erwerb eines Abschlusses verbunden sind, lassen sich schwer wegdiskutieren.
Die meisten Menschen sehen einen Abschluss als Eintrittskarte zu einem ordentlichen Job, und das ist wirtschaftlich gesehen naheliegend.
Leider fördern heutzutage auch Arbeitgeber diese Copy-and-paste-Arbeit. Man sehe sich nur an, wie Meta und Google sagen, dass der Großteil neu geschriebenen Codes von AI erzeugt wird.
Die Welt wird von AI verschlungen werden.
Früher gingen nur die Klügsten oder Reichsten an die Universität, also wurde ein Hochschulabschluss zu einem Stellvertretermaß für Intelligenz.
Heute bekommen Hochschulabsolventen gute Jobs, also besteht die Methode, allen gute Jobs zu geben, darin, allen einen Abschluss zu geben.
Wenn die meisten Menschen sich nicht für das Lernen interessieren, das dem Abschluss zugrunde liegt, sondern nur für den Job, dann bekommt man am Ende Studierende, die sich nur um die Bestehensgrenze und das Zertifikat am Schluss kümmern.
Wenn die Leute nur gekommen sind, um das Spiel zu spielen, kann man nicht erwarten, dass sie lernen.
Aber selbst wenn 90 % die Gelegenheit vor ihrer Nase verpassen, werden 10 % sie ergreifen und bis aufs Mark ausnutzen.
Wer an einer Universität ist, dem würde ich empfehlen, das angebotene Wissen und die Möglichkeiten zur Interaktion zu nutzen. Die Universität mag allen offenstehen, aber die Glücklichen, die das Gold darin sehen und wirklich lernen, sind wenige.
Bei dem Spiel geht es nicht nur um die Endpunktzahl. Es wird sehr viel mehr geboten.
Ich fürchte, LLMs haben bereits die erste Generation von Entwicklern hervorgebracht, die ohne LLM nicht funktionsfähig sind.
Es ist in Ordnung, LLMs für Teile der Arbeit zu nutzen, aber man muss auch ohne LLM funktionieren können.
Nicht alle Daten lassen sich in AI-Prompts stecken, manche Probleme lassen sich mit LLMs nicht lösen, und wer sich bei einfachen Problemen auf generierten Code oder generierte Konfiguration verlässt, entwickelt die eigenen Fähigkeiten nicht weiter.
Claytons Schlussfolgerung „Ich wollte noch nie lieber den ursprünglichen Prompt sehen als die Ausgabe eines generativen Modells. Die Ausgabe hat weniger Substanz als der Prompt und keine menschliche Vision“ lehne ich entschieden ab.
Wir haben dies mit AI erstellt, und ich bin überzeugt: Wer nicht selbst Creator ist, wird den Roh-Input nicht sehen wollen.
https://www.youtube.com/watch?v=H4NFXGMuwpY
AI-Nutzer werden sich in zwei Gruppen teilen: diejenigen, die AI als vollständiges End-to-End-Tool verwenden, und diejenigen, die sie als Werkzeug nutzen, um ihre bestehende Arbeit und Kreativität zu verstärken.
Letzteres ist eindeutig ein hervorragender Use Case für AI.
Vielleicht erzwingt das große Änderungen bei der Bewertung von Studierenden. Nach der Abgabe eines Essays muss die Lehrkraft vielleicht ein Gespräch über das Thema führen, um zu prüfen, wie viel tatsächlich hängen geblieben ist.
Oder, was ich für wahrscheinlicher halte: LLMs machen einfach alles schlechter.
Das passiert, weil Lehrkräfte den Studierenden Fragen stellen, bei denen sie lediglich den Text der Lehrkraft wiederholen sollen.
Richtig unterrichten müsste so aussehen:
„Es gibt einen kleinen Dummy-Roboterarm aus Tinkertoys. Er hat drei Winkelgelenke: eine drehbare Basis, eine Schulter und einen Ellbogen, und an jedem Gelenk gibt es einen Winkelmesser, an dem man den Winkel ablesen kann.“
So versteht man richtig, was diese Probleme tatsächlich bedeuten.
Ich weiß nichts über Robotik, aber es klingt nach einer ziemlich üblichen Aufgabe und nach genau der Art, bei der ein LLM die Hausaufgaben anderer Leute wiedergeben könnte.
Wenn ein einzelner Student das macht, könnte dieser Student das Problem sein; wenn aber 90 % es machen, liegt das Problem meiner Ansicht nach bei der Aufgabe.
Ich habe schon lange vor dem Aufkommen von LLMs unterrichtet, und es gab viele per Copy & Paste eingereichte Schrottarbeiten.
Ich habe immer 0 Punkte gegeben und es nicht als Plagiat bezeichnet. Denn für eine Behandlung als Plagiat wäre ein universitäres Verwaltungsverfahren nötig gewesen.
Stattdessen kommentierte ich nur: „Gefordert war X, eingereicht wurde eingefügter Unsinn.“
Solange LLM-Ausgaben auf dem heutigen Niveau bleiben, stellen sie für Aufgaben kaum eine Bedrohung dar, die tatsächlich konkurrenzfähig wäre.
Wenn Studierende aufmerksam genug sind, es in ihre eigene Stimme umzuschreiben, würde ich das eher als Erfolg sehen. Wenn sie den Müll eines von Datenlabeling-Outsourcern per RLHF zurechtgebogenen LLMs unverändert abgeben, gibt man einfach 0 Punkte.
Studierende interessieren sich nicht für einen 3000-Wörter-Gefühlsappell in einem Blog, sondern wählen den Weg des geringsten Widerstands.
Wenn man nicht bereit ist, die gesamte Arbeit durchzustreichen und in großen roten Buchstaben „ChatGPT-Unsinn, 0 Punkte“ daraufzuschreiben und sie zurückzugeben, sollte man sich zuerst fragen, was der Zweck der Aufgabe überhaupt ist.
Verständlich ist es allerdings. Universitäten sind zu einem System geworden, in dem Studierende zahlen, um einen Abschluss zu bekommen, und Professoren haben gegenüber der Verwaltung jede Macht verloren, Standards oder Disziplin durchzusetzen.
Also bleibt ihnen nur, ChatGPT-Müll mit der Mindestnote zum Bestehen zu bewerten und in einem Blog, den die Studierenden niemals lesen werden, über Philosophie zu dozieren.
Es war offensichtlicher Betrug. Zum Beispiel, wenn mit falschem Code die richtige Antwort herauskam.
Aber ich hatte keine Lust, das Verwaltungsverfahren für eine Betrugsanzeige zu durchlaufen, und gab einfach 0 Punkte.
Wenn man für eine richtige Antwort 0 Punkte gibt, dürfte das zu einer erfolgreichen Beschwerde oder Berufung führen.
Aber neue Ideen können scheitern, und deshalb waren die meisten eher schlecht und bekamen niedrige Noten.
Weil ich nicht wusste, was ich tun sollte, begann ich bald, Essays auf Grundlage von Wikipedia-Zusammenfassungen und Rezensionen anderer Leute zu schreiben, ohne die Pflichtlektüre zu lesen.
Als ich zum ersten Mal A und A+ bekam, wurde mir klar, dass selbst durchschnittlich originelle Texte von der Hälfte der Leute nicht verstanden werden, weil ihr Verständnis zu gering ist.
Damit eine Idee in der Literatur als wirklich intellektuell anerkannt wird, muss sie auch für Menschen attraktiv sein, die sich nicht mehr daran erinnern, was sie tatsächlich gelesen haben.
Auch bei gebildeten und klugen Menschen trübt ein ähnliches Meer an Informationen den Blick.
Der Zweck von schriftlichen Aufgaben im Unterricht sollte nicht darin bestehen, einen Text als Output zu erzeugen, sondern Schüler bzw. Studierende zum Denken zu bringen. Sprachmodelle können Ersteres erzeugen, Letzteres aber nicht.
Es ist ziemlich deprimierend zu sehen, wie viele kluge Fachleute und Wissenschaftler im Bildungswesen und in der Wissenschaft das nicht verstehen.
Sie sehen Arbeit als bloße Produktion von Ergebnissen und denken nicht darüber nach, wie der Prozess Wissen, Fähigkeiten und Erfahrung aufbaut.
Die unwissendsten Studierenden lassen sich von LLMs treiben und verschwenden Jahre, ohne den Zweck von Schreiben oder Problemlösen und die Grenzen von LLMs zu verstehen.
Manchmal geben sie Hunderttausende Dollar aus, lassen ihr Gehirn verkümmern und bekommen nur ein Stück Papier, nur um dann in der realen Welt zu landen, in der die Probleme viel offener sind und die Qualität der Problemlösung durch LLMs stark abfällt.
Wer sich tatsächlich selbst an Probleme klammert und lernt, wird langfristig einen enormen Vorteil haben.
Wenn es uns nur darum ginge, Gewichte zu bewegen, wäre der Einsatz eines Werkzeugs richtig.
Aber man macht diese Übung wegen der Wirkung, die sie auf einen selbst hat. Lehrkräfte stellen Fragen nicht, weil sie die Antwort nicht kennen.
Wenn ich lernen und mich in das Material vertiefen wollte, könnte ich mir 60.000 Dollar sparen und es online kostenlos, vermutlich sogar effizienter, tun.
Der Zweck schriftlicher Aufgaben im Unterricht ist, die Universität dazu zu bringen, mir einen Abschluss zu geben.
Tatsächlich bekommt man keinen Abschluss, nur weil man den Stoff gelernt hat; das geht nur, wenn man die von Professoren aufgestellten Hürden nimmt und enorme Studiengebühren zahlt.
Es wäre schön, wenn es ein anderes System gäbe, mit dem man nach tatsächlichem Lernen eine gültige Zertifizierung der eigenen Beschäftigungsfähigkeit bekommen könnte. Aber solange Professoren die Gatekeeper des begehrten Beschäftigungsfähigkeits-Nachweises sind, wird dieses Anreizproblem bestehen bleiben.
Als ich als Kind einen Aufsatz zum Thema „Warum haben die guten Mächte in Der Herr der Ringe gewonnen?“ schreiben sollte, war das in Wirklichkeit eine Hürde, um zu überprüfen, ob ich den Roman tatsächlich gelesen hatte.
Es gab drei Optionen: den Roman lesen und den Aufsatz selbst schreiben, einen bereits geschriebenen Aufsatz finden oder den Aufsatz eines Freundes als Vorlage nehmen und umschreiben.
Vor dem Internet war es nicht leicht, bereits geschriebene Aufsätze zu finden, aber es gab Aufsatzsammlungen zu gängigen Themen, mit dem Risiko, vom Professor erwischt zu werden oder dass jemand dieselbe Quelle nutzt.
A und C führten immerhin dazu, dass man etwas über den Roman lernte und seine Schreibfähigkeiten verfeinerte.
Heute kann man ChatGPT einen vierseitigen Aufsatz über einen Roman schreiben lassen, von dem man noch nie gehört hat, und damit fertig sein. In diesem Prozess entsteht kein Wert.
Das ist ein einfaches Beispiel, gilt aber genauso fürs Programmieren. Ein Programmieranfänger mag behaupten, ein LLM gebe ihm die Kraft, schwierige Aufgaben und unbekannte Sprachen zu bewältigen, aber er gewinnt aus dieser Erfahrung weder Fähigkeiten noch Wissen.
Wenn man Google Maps bittet, eine Route von Prag nach Brüssel zu finden, bekommt man eine Liste von Abbiegeanweisungen bis zum Ziel, aber man kann nicht behaupten, dabei die Topografie Deutschlands gelernt zu haben.
Ich stimme zu, dass die vom Autor beschriebene Situation unbefriedigend ist, aber größtenteils liegt die Verantwortung beim Bildungssystem und darüber hinaus beim Autor selbst.
Bei solchen schriftlichen Aufgaben im Unterricht ist es selbstverständlich, dass Studierende LLMs nutzen. Wenn die Kommilitonen sie nutzen, wäre es dumm, es nicht zu tun.
Lehrende müssen neu strukturieren, wie sie unterrichten und bewerten. Es ist seltsam, dass der Autor das nicht sieht.
Universitäten und Schulen müssen ihre Arbeitsweise in Bezug auf AI ändern; sonst lassen sie ihre Studierenden scheitern.
Ich weiß, dass AI viele potenzielle und reale Probleme für die Gesellschaft mit sich bringt, aber richtig angenommen hat sie auch das Potenzial, die Bildungserfahrung positiv zu verändern.
Erstens sind Schüler und Studierende ein gefangenes Publikum. Sie wollen nicht dort sein, aber das Gesetz zwingt sie dazu.
Auch nach der Schulpflicht gilt das noch. Durch Trägheit wurden sie in die weiterführende Bildung geschoben und haben nicht erkannt, dass es echte Wahlmöglichkeiten oder Alternativen gibt.
Zweitens sind viele der im Unterricht entwickelten Fähigkeiten in der Praxis nutzlos.
Ich habe viel Zeit im Englischunterricht als Zweitsprache verbracht, aber tatsächlich hat mir die Nutzung des Internets die Sprache beigebracht. Der Englischunterricht in den späteren Jahren war nur Beschäftigungstherapie.
Auch im Unterricht in meiner Muttersprache musste ich ziemlich viele Aufsätze schreiben, aber nützlich war nur die Abschlussprüfung dieses Kurses.
Seitdem habe ich keinen „echten“ Aufsatz mehr geschrieben. Selbst wenn, würde ich ihn wahrscheinlich auf Englisch schreiben und einen anderen Stil verwenden, den ich aus Forenbeiträgen gelernt habe.