Universitätsprüfungen im Zeitalter der Chatbots organisieren

• In der Lehrveranstaltung Open-Source-Strategie wurde ein unkonventionelles Prüfungsformat erprobt, bei dem zur Förderung selbstgesteuerten Lernens sowohl Internetzugang als auch die Nutzung von Materialien vollständig erlaubt waren
• Die Studierenden mussten sich vorab entscheiden, ob sie Chatbots verwenden wollen; bei Nutzung waren Quellenangaben, Offenlegung der Prompts und Fehleranalyse verpflichtend
• Von 60 Studierenden nutzten 57 keinen Chatbot; insgesamt zeigte sich die Tendenz, dass die Gruppe ohne Nutzung besser abschnitt
• Die Studierenden neigten dazu, auf Chatbots zu verzichten, weil sie Angst vor Betrugsvorwürfen hatten und weil sie sich an der vermuteten Bewertungspraxis des Professors orientierten
• Der Professor nutzte eine Datei zum „stream of consciousness“, um die Denkprozesse der Studierenden nachzuvollziehen, und betonte gegenüber Chatbots die Wichtigkeit, die eigene Denkfähigkeit zu stärken

---

Prüfungsorganisation

• Die Prüfung war durch offene Regeln geprägt: alle Materialien und das Internet waren erlaubt, es gab keine Zeitbegrenzung, Diskussionen unter Studierenden waren möglich, und sogar die eigenständige Formulierung von Aufgaben war zulässig
  • Auch bei der Kleidung hatten die Studierenden freie Wahl, von traditioneller Kleidung bis hin zu humorvollen Outfits war alles vertreten
• Ziel dieses Formats war es, die Prüfung als Fortsetzung des Lernens zu gestalten und Anspannung zu reduzieren

Wahlmöglichkeit bei der Chatbot-Nutzung

• Vor der Prüfung mussten die Studierenden explizit festlegen, ob sie Chatbots verwenden
  • Option A: keine Chatbot-Nutzung; Verwendung wird als Betrug gewertet
  • Option B: Chatbot-Nutzung erlaubt, aber bei jeder Verwendung müssen Quelle, Prompt und Fehleranalyse eingereicht werden
• Fehler von Chatbots wurden als stärkerer Abzugsfaktor behandelt als menschliche Fehler; wer sie nutzte, trug die Verantwortung für das Ergebnis

Entscheidungen der Studierenden und Notenverteilung

• 57 von 60 Studierenden nutzten keinen Chatbot
  • Gruppe der persönlichen Präferenz: legt Wert auf selbstständiges Lernen, Noten 15–19 Punkte
  • Gruppe ohne Nutzung: mochte die Interaktion mit Chatbots nicht, Durchschnitt 13 Punkte
  • Pragmatische Gruppe: hielt Chatbots angesichts der Prüfungsform für unnötig, 12–16 Punkte
  • Heavy-User-Gruppe: geriet durch Abhängigkeit von Chatbots in Verwirrung, meist 8–11 Punkte
• Von den 3 Studierenden, die Chatbots verwenden wollten,
  • vergaß 1, den Chatbot tatsächlich zu benutzen
  • nutzte 1 ihn nur minimal zur Begriffsprüfung
  • verschlechterte sich bei 1 das Verständnis durch ein komplexes LLM-Setup eher noch (bei einem LLM gefragt und die Antwort von einem anderen LLM prüfen lassen)
    • Im Gespräch ohne Chatbot zeigte sich eigentlich ein ausreichendes Verständnis, doch durch die Ausgaben des Chatbots verstand die Person am Ende sogar weniger. Der Chatbot schadete ihr also eher.

Generationelle Wahrnehmung von Betrug

• Die meisten Studierenden misstrauten Chatbots oder fürchteten, des Betrugs verdächtigt zu werden
• Einige sorgten sich sogar, dass schon Googles automatisch generierte Antwortfunktion als Betrug missverstanden werden könnte
• Im aktuellen Hochschulsystem gibt es harte Sanktionen bei Betrug, darunter im Extremfall ein bis zu dreijähriges Betretungsverbot für die Universität
• Der Professor zeigte sich überrascht, dass Studierende im Unterschied zu früheren Generationen sogar Zusammenarbeit vor der Prüfung meiden

Experiment mit der „stream of consciousness“-Datei

• Die Studierenden wurden aufgefordert, während der Prüfung ihre Gedanken in Echtzeit festzuhalten
  • Änderungen und Löschungen verboten, Kopieren verboten, nur URLs erlaubt
  • Chatbot-Nutzung verboten, es durfte ausschließlich das eigene Denken festgehalten werden
• 55 von 60 Studierenden reichten die Datei ein, 24 erfolgreich per git-send-email
• Diese Aufzeichnungen machten Stress und Denkprozess der Studierenden nachvollziehbar
  • Einige beschrieben, dass ihnen das Schreiben half, das Problem klarer zu verstehen und Ängste abzubauen
  • Der Professor konnte mithilfe dieser Datei Studierende retten, die inhaltlich verstanden hatten, sich aber schlecht ausdrückten

Fazit und Bildungsphilosophie

• Der Professor plant, dieses Format auch im folgenden Jahr beizubehalten
• Bei Chatbots ist die Fähigkeit, sie als Werkzeug zu nutzen, entscheidend; wer gut denken kann, braucht sie nicht unbedingt
• Das eigentliche Problem sind nicht die Technologien, sondern die von älteren Generationen zerstörte Infrastruktur und ineffiziente Systeme
  • Durch die Einführung von Outlook habe sich die E-Mail-Erfahrung verschlechtert; Studierende nennen E-Mail den „Spam-Ordner des Präsidenten“
  • Viele Studierende kennen nicht einmal den Unterschied zwischen Git und GitHub, als Folge einer von Microsoft abhängigen Umgebung
• Der Professor vermittelt den Studierenden die Botschaft: „Lernt schneller und tiefer als meine Generation“, und betont damit
  den Fortschritt des Lernens zwischen den Generationen und die Weitergabe kritischen Denkens

[GN⁺]

Hacker-News-Kommentare

• Vor 10 Jahren wurden Prüfungen noch von Hand geschrieben, und Internet oder LLMs gab es nicht. Das funktioniert auch heute noch völlig ausreichend. Wenn nicht gerade die Fähigkeit zum Googeln bewertet werden soll, sehe ich keinen Grund, unbedingt etwas anderes zu machen.

  • Auch ich kehre in meinen Lehrveranstaltungen wieder zu Papierprüfungen zurück. Digitale Geräte sind verboten, und die Leistung wird auf 7 kurze Quizze verteilt. Das Gewicht von Projekten habe ich auf 50 % reduziert, weil sich schwer überprüfen lässt, ob die Studierenden sie wirklich selbst gemacht haben.
  • Das Problem ist der Mangel an Zeit fürs Korrigieren. Manchmal muss ich 20 Seiten in 15 Minuten durchsehen. Deshalb vereinfache ich auf Multiple Choice, Diagramme und Rechenaufgaben. Es gibt auch viele Studierende mit kaum lesbarer Handschrift, daher wäre es vielleicht sinnvoll, einfache Terminal-Eingaben zu erlauben. Außerdem halte ich es für wichtiger, dass Studierende intuitiv verstehen, wo sie eine Antwort finden können, als dass sie alles auswendig wissen.
  • Open-Book-Prüfungen sind nichts Neues. In Mathematik oder Biologie gab es sie schon oft. Wer die Grundkonzepte nicht kennt, besteht auch mit Google nicht. Prüfungen sollten so gestaltet sein, dass sie eher kritisches Denken als bloßes Auswendiglernen bewerten.
  • Es gab an meiner Uni einmal eine Phase, in der der Ausbau von Online-Lehre vorangetrieben wurde. Die Qualität der Lehre sank, und der Wert des Abschlusses wurde verwässert. Ich habe mich damals gefragt, warum eine öffentliche Universität überhaupt Gewinnmaximierung anstrebt.
  • Ich denke, dieser Ansatz läuft am Ende auf einen Test des Erinnerungsvermögens hinaus. Ich selbst hatte ein gutes mittelfristiges Gedächtnis und war deshalb gut in Prüfungen, aber das bedeutete nicht, dass ich wirklich etwas verstanden hatte. Ein System, das nur Menschen mit gutem Gedächtnis begünstigt, ist nicht fair.

• Ich habe das Gefühl, dass viele Studierende keine Antwort auf die Frage finden: „Warum muss ich das lernen?“ Nach dem Abschluss reicht es in der Realität oft, gerade so viel zu wissen, dass man „nicht gefeuert wird“. Im Zeitalter der LLMs sinkt diese Schwelle noch weiter. Deshalb denke ich eher, dass wir zu traditionellen Prüfungsformen zurückkehren sollten: handschriftliche Closed-Book-Prüfungen, mündliche Prüfungen, keine Hausaufgaben — stattdessen sollte man Tausende Aufgaben mit Lösungen offenlegen, um das Auswendiglernen als Grundlage von Kreativität zu trainieren.

  • Ich denke, der Zweck einer Universität ist nicht einfach nur, „nicht gefeuert zu werden“, sondern zur Erweiterung des menschlichen Wissens beizutragen. Doch heute sind Universitäten zu Orten geworden, die nach Marktlogik genau die Leute produzieren, die Unternehmen wollen. Zudem könnten viele Berufe in Wirklichkeit „Bullshit Jobs“ sein.
  • Es ist auch riskant anzunehmen, dass Studierende sich dauerhaft auf LLMs verlassen können. Was, wenn die Nutzung eines LLM plötzlich 1000 Dollar im Monat kostet? Könnten sie dann ihre Arbeit immer noch machen?
  • In Europa waren mündliche Prüfungen und handschriftliche Klausuren schon immer üblich. Dass Hausaufgaben benotet werden, kam mir eher seltsam vor. Im Zeitalter der LLMs ist die Frage, was gelernt werden sollte, noch wichtiger geworden.
  • Die Bildungsfrage lautet heute nicht mehr „Wie sollen wir unterrichten?“, sondern „Was bedeuten Arbeit und Kompetenz überhaupt?“ Die Gesellschaft misst Performance mehr Bedeutung bei als tatsächlicher Kompetenz, und AI verstärkt diesen Trend noch.
  • Mein Professor für Elektromagnetismus sagte immer: „Lernt nicht die Formeln auswendig, versteht die Beziehungen.“ Aber ich denke, Formeln auswendig zu lernen ist oft der Ausgangspunkt dafür, diese Beziehungen zu verstehen. Physik ist nicht nur eine Sammlung von Gleichungen, sondern die Lehre vom Entwicklungsaufbau von Systemen.

• Die Aussage „Die meisten Studierenden wollen keine Chatbots benutzen“ scheint inzwischen nicht mehr zu stimmen. Ich bin Hochschullehrer, und die Zahl der von LLMs abhängigen Studierenden steigt explosionsartig. Ich mache mir Sorgen, dass eine Generation heranwächst, die ohne LLMs gar nicht mehr lernen kann.

  • Der Professor und die Studierenden im Artikel hatten vermutlich echtes Interesse am Lernen und brauchten deshalb keine LLMs. Aber für die meisten Studierenden ist das Bestehen das eigentliche Ziel, und dann ist der Einsatz von LLMs rational. Wenn ich ein Fach langweilig gefunden hätte, hätte ich wahrscheinlich auch ein LLM benutzt.
  • Ich halte diesen Fall für eine spezielle Prüfungssituation, die sich nur schwer verallgemeinern lässt. Wenn die Bedingung lautet: „Verwendet AI, aber tragt Verantwortung für das Ergebnis“, dann werden gut vorbereitete Studierende AI womöglich gar nicht brauchen.
  • Wenn die Nutzung von LLMs an Universitäten verboten ist, könnten Studierende vielleicht durch die Angst vor Sanktionen selbstständiges Denken lernen. Kritisches Denken ist eine Fähigkeit, die kontinuierliches Training braucht.
  • Sobald LLMs echte Kosten verursachen, könnte eine Preisbarriere viele Studierende vom Zugang ausschließen.
  • Das Problem ist vielleicht eher, dass Google die Suche ruiniert und durch LLM-Boxen ersetzt hat. Vielleicht liegt die Ursache also weniger bei den Bedürfnissen der Studierenden als bei der Richtung, die Unternehmen vorgeben.

• Ein Professor meinte, die Empathie und Rücksichtnahme seiner Studierenden sei erstaunlich hoch. Auch sein Umgang mit AI ist, anders als bei vielen anderen Lehrenden, sehr menschlich.

• Die Idee, Diskussionen zwischen Studierenden während der Prüfung zu erlauben, ist interessant. Da kam scherzhaft die Frage auf, ob man dann nicht gleich Abschlüsse für Teams vergeben sollte. Da es tatsächlich Unternehmen gibt, die ganze Teams einstellen, ist das vielleicht gar keine so schlechte Idee.

  • Hier der Autor des Originalposts. Ich unterrichte Open Source Strategies. Im Kern geht es um Zusammenarbeit. Wenn man ein Problem definiert, Fragen stellt und durch Antworten sein Verständnis erweitert, dann ist das bereits hervorragendes Lernen. Eine weitere Methode ist, dass Studierende 1 ein Konzept erklärt und Studierende 2 es innerhalb von 20 Minuten so versteht, dass Studierende 1 es ihr oder ihm beibringt. Anschließend wird Studierende 1 anhand der Antwort von Studierende 2 bewertet. So fördert man verantwortungsvolle Zusammenarbeit.
  • Noch besser wäre es vielleicht, wenn es eine Regel gäbe, dass beide Studierenden aktiv teilnehmen müssen.
  • Solche kooperativen Lehrformen scheinen eine Reaktion auf die wettbewerbsorientierte Kultur an Schulen zu sein.
  • Es gab auch den zynischen Scherz: „Schickt einfach alle Abschlüsse an OpenAI.“ Das ist eine Satire darauf, dass der Wert von Bildung ins Wanken geraten ist.

• Die flexible Prüfungsgestaltung dieses Professors ist beeindruckend. Dass er die Studierenden versteht, Erwartungen klar formuliert und gemeinsam mit ihnen lernen will, ist selten.

  • Hier der Autor des Originalposts. Die meisten Professoren sind Professoren geworden, weil sie standardisierte Prüfungen gut bestanden haben. Ich war im Gegenteil ein schlechter Student. Ich habe mit Minimalpunktzahl abgeschlossen, mir dann aber eine Karriere im Open-Source-Bereich aufgebaut und wurde gerade deshalb als Professor eingestellt. Ich bin für diesen nicht traditionellen Weg dankbar.

• Ich fand die Aussage überraschend, dass Studierende aus Angst vor Betrugsvorwürfen nicht miteinander kooperieren. Früher hatte ich eher gehört, dass Betrug weit verbreitet war.

  • Ich unterrichte in einem Masterstudiengang, und in den letzten Jahren haben etwa 15 % der Studierenden ganz offen plagiiert. Es gab sogar einmal zwei Personen, die bytegenau identische Antworten abgegeben haben.
  • Dieser Kurs repräsentiert möglicherweise nicht das typische Verhalten aller Studierenden.

• Ich finde die Unterrichtsweise dieses Professors wirklich einen durchdachten und ausgewogenen Ansatz. Sie gibt den Studierenden zugleich Autonomie und Verantwortung. Besonders eindrucksvoll fand ich den Satz: „Mein Ziel ist, dass ihr schneller und tiefer lernt als ich.“