- In der Lehrveranstaltung Open-Source-Strategie wurde ein unkonventionelles Prüfungsformat erprobt, bei dem zur Förderung selbstgesteuerten Lernens sowohl Internetzugang als auch die Nutzung von Materialien vollständig erlaubt waren
- Die Studierenden mussten sich vorab entscheiden, ob sie Chatbots verwenden wollen; bei Nutzung waren Quellenangaben, Offenlegung der Prompts und Fehleranalyse verpflichtend
- Von 60 Studierenden nutzten 57 keinen Chatbot; insgesamt zeigte sich die Tendenz, dass die Gruppe ohne Nutzung besser abschnitt
- Die Studierenden neigten dazu, auf Chatbots zu verzichten, weil sie Angst vor Betrugsvorwürfen hatten und weil sie sich an der vermuteten Bewertungspraxis des Professors orientierten
- Der Professor nutzte eine Datei zum „stream of consciousness“, um die Denkprozesse der Studierenden nachzuvollziehen, und betonte gegenüber Chatbots die Wichtigkeit, die eigene Denkfähigkeit zu stärken
Prüfungsorganisation
- Die Prüfung war durch offene Regeln geprägt: alle Materialien und das Internet waren erlaubt, es gab keine Zeitbegrenzung, Diskussionen unter Studierenden waren möglich, und sogar die eigenständige Formulierung von Aufgaben war zulässig
- Auch bei der Kleidung hatten die Studierenden freie Wahl, von traditioneller Kleidung bis hin zu humorvollen Outfits war alles vertreten
- Ziel dieses Formats war es, die Prüfung als Fortsetzung des Lernens zu gestalten und Anspannung zu reduzieren
Wahlmöglichkeit bei der Chatbot-Nutzung
- Vor der Prüfung mussten die Studierenden explizit festlegen, ob sie Chatbots verwenden
- Option A: keine Chatbot-Nutzung; Verwendung wird als Betrug gewertet
- Option B: Chatbot-Nutzung erlaubt, aber bei jeder Verwendung müssen Quelle, Prompt und Fehleranalyse eingereicht werden
- Fehler von Chatbots wurden als stärkerer Abzugsfaktor behandelt als menschliche Fehler; wer sie nutzte, trug die Verantwortung für das Ergebnis
Entscheidungen der Studierenden und Notenverteilung
- 57 von 60 Studierenden nutzten keinen Chatbot
- Gruppe der persönlichen Präferenz: legt Wert auf selbstständiges Lernen, Noten 15–19 Punkte
- Gruppe ohne Nutzung: mochte die Interaktion mit Chatbots nicht, Durchschnitt 13 Punkte
- Pragmatische Gruppe: hielt Chatbots angesichts der Prüfungsform für unnötig, 12–16 Punkte
- Heavy-User-Gruppe: geriet durch Abhängigkeit von Chatbots in Verwirrung, meist 8–11 Punkte
- Von den 3 Studierenden, die Chatbots verwenden wollten,
- vergaß 1, den Chatbot tatsächlich zu benutzen
- nutzte 1 ihn nur minimal zur Begriffsprüfung
- verschlechterte sich bei 1 das Verständnis durch ein komplexes LLM-Setup eher noch (bei einem LLM gefragt und die Antwort von einem anderen LLM prüfen lassen)
- Im Gespräch ohne Chatbot zeigte sich eigentlich ein ausreichendes Verständnis, doch durch die Ausgaben des Chatbots verstand die Person am Ende sogar weniger. Der Chatbot schadete ihr also eher.
Generationelle Wahrnehmung von Betrug
- Die meisten Studierenden misstrauten Chatbots oder fürchteten, des Betrugs verdächtigt zu werden
- Einige sorgten sich sogar, dass schon Googles automatisch generierte Antwortfunktion als Betrug missverstanden werden könnte
- Im aktuellen Hochschulsystem gibt es harte Sanktionen bei Betrug, darunter im Extremfall ein bis zu dreijähriges Betretungsverbot für die Universität
- Der Professor zeigte sich überrascht, dass Studierende im Unterschied zu früheren Generationen sogar Zusammenarbeit vor der Prüfung meiden
Experiment mit der „stream of consciousness“-Datei
- Die Studierenden wurden aufgefordert, während der Prüfung ihre Gedanken in Echtzeit festzuhalten
- Änderungen und Löschungen verboten, Kopieren verboten, nur URLs erlaubt
- Chatbot-Nutzung verboten, es durfte ausschließlich das eigene Denken festgehalten werden
- 55 von 60 Studierenden reichten die Datei ein, 24 erfolgreich per git-send-email
- Diese Aufzeichnungen machten Stress und Denkprozess der Studierenden nachvollziehbar
- Einige beschrieben, dass ihnen das Schreiben half, das Problem klarer zu verstehen und Ängste abzubauen
- Der Professor konnte mithilfe dieser Datei Studierende retten, die inhaltlich verstanden hatten, sich aber schlecht ausdrückten
Fazit und Bildungsphilosophie
- Der Professor plant, dieses Format auch im folgenden Jahr beizubehalten
- Bei Chatbots ist die Fähigkeit, sie als Werkzeug zu nutzen, entscheidend; wer gut denken kann, braucht sie nicht unbedingt
- Das eigentliche Problem sind nicht die Technologien, sondern die von älteren Generationen zerstörte Infrastruktur und ineffiziente Systeme
- Durch die Einführung von Outlook habe sich die E-Mail-Erfahrung verschlechtert; Studierende nennen E-Mail den „Spam-Ordner des Präsidenten“
- Viele Studierende kennen nicht einmal den Unterschied zwischen Git und GitHub, als Folge einer von Microsoft abhängigen Umgebung
- Der Professor vermittelt den Studierenden die Botschaft: „Lernt schneller und tiefer als meine Generation“, und betont damit
den Fortschritt des Lernens zwischen den Generationen und die Weitergabe kritischen Denkens
Noch keine Kommentare.