Studie der University of Michigan: Studierende mit Nachnamen weiter hinten im Alphabet erhalten schlechtere Noten
(record.umich.edu)- Forschende der University of Michigan analysierten mehr als 30 Millionen Canvas-Bewertungsdatensätze und stellten fest, dass Studierende mit Nachnamen weiter hinten im Alphabet tendenziell niedrigere Punktzahlen erhalten
- Hauptursachen sind die Standard-Sortierung von Canvas, die Einreichungen alphabetisch nach Nachnamen anzeigt, sowie ein Sequenz-Bias, der entsteht, wenn Bewertende Aufgaben der Reihe nach beurteilen
- Studierende mit Nachnamen von A bis E erhalten im Vergleich zu zufälliger Bewertung 0,3 Punkte mehr auf einer 100-Punkte-Skala, während Studierende mit Nachnamen weiter hinten im Alphabet 0,3 Punkte weniger erhalten; insgesamt entsteht so eine Lücke von 0,6 Punkten
- Bei etwa 5 % der Bewertenden, die von Z nach A bewerten, kehrt sich die Lücke um. Das stützt die Interpretation, dass nicht der Nachname selbst, sondern die Bewertungsreihenfolge die Punktedifferenz verursacht
- Auch wenn 0,6 Punkte gering erscheinen, können sie die Kurs-GPA und Karrierechancen beeinflussen. Daher sind Maßnahmen nötig, etwa zufällige Bewertung als Standard festzulegen und die Bewertungslast in großen Lehrveranstaltungen zu reduzieren
Die durch Canvas’ Standard-Sortierung erzeugte Lücke nach Nachnamensinitialen
- Forschende der University of Michigan sammelten historische Bewertungsdaten aus Canvas für alle verfügbaren Programme, Studierenden und Aufgaben vom Herbstsemester 2014 bis zum Sommersemester 2022
- Analysiert wurden mehr als 30 Millionen Bewertungsdatensätze; Daten des Universitätsregistrars ergänzten Informationen zu Hintergrund, Demografie und Lernpfaden der Studierenden
- Studierende mit Nachnamen weiter hinten im Alphabet erhielten niedrigere Punktzahlen, bekamen negativeres und weniger höfliches Feedback, und auch die anhand von Studierendenbeschwerden gemessene Bewertungsqualität war geringer
- Die zugehörige Studie heißt 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity und befindet sich im Review bei Management Science
Wie sequenzieller Bewertungs-Bias funktioniert
- Canvas sortiert Einreichungen von Studierenden standardmäßig alphabetisch nach Nachnamen
- Dieses Standarddesign bleibt nicht auf einzelne Kurse beschränkt, sondern kann sich über viele Einrichtungen und Kurse hinweg auswirken, die ein Lernmanagementsystem nutzen
- Je mehr Aufgaben Bewertende beurteilen, desto stärker zeigt sich ein Muster sinkender Bewertungsqualität
- Laut Wang erhalten Studierende mit Nachnamen, die mit A, B, C, D oder E beginnen, 0,3 Punkte mehr auf einer 100-Punkte-Skala als bei zufälliger Bewertungsreihenfolge; Studierende mit Nachnamen weiter hinten im Alphabet erhalten 0,3 Punkte weniger
Umgekehrter Effekt bei Bewertung in umgekehrter Reihenfolge
- Etwa 5 % der Bewertenden bewerten in der Reihenfolge von Z nach A
- In diesem Fall kehrt sich die Lücke wie erwartet um
- Studierende mit Nachnamen von A bis E sind benachteiligt
- Studierende mit Nachnamen von W bis Z erhalten höhere Punktzahlen als bei zufälliger Bewertung
- Diese Beobachtung stärkt die Interpretation, dass die ursprüngliche Punktelücke nicht durch den Nachnamen selbst, sondern durch die Bewertungsreihenfolge verursacht wird
Auswirkungen kleiner Punktedifferenzen auf Studierende
- Eine Differenz von 0,6 Punkten mag gering erscheinen, wirkt sich aber auf die Kurs-GPA der Studierenden aus
- Veränderungen der GPA können sich auch negativ auf die Karrierechancen einzelner Studierender auswirken
- Wang sagt, dass etwas, das Bewertenden unbewusst passiert, reale gesellschaftliche Auswirkungen haben kann
Forschungsidee und Ermüdungsfaktoren
- Die Forschungsidee entstand bei Gesprächen über Wangs EdTech-Forschung und Peis Forschung zu künstlicher Intelligenz
- Pei stellte fest, dass auch Datenlabeling, eine grundlegende Aufgabe im Machine Learning, eine lange und mühsame sequenzielle Tätigkeit ist, jedoch randomisiert wird
- Diese Beobachtung führte zu einer Pilotstudie über den Zusammenhang zwischen Bewertungszeit und Notenunterschieden in Bildungssystemen wie Canvas
- Bei langen Arbeitsphasen nimmt Ermüdung zu, während Aufmerksamkeit und kognitive Fähigkeiten abnehmen. Daher könnte Ermüdung einer der wichtigsten Faktoren sein, die diesen Effekt erzeugen
Vorgeschlagene Verbesserungen
- Canvas bietet eine Option, Aufgaben in zufälliger Reihenfolge zu bewerten, und einige Lehrende nutzen sie
- Der Standardmodus von Canvas und anderen Online-Lernmanagementsystemen ist jedoch die alphabetische Reihenfolge
- Die einfachste Lösung besteht darin, die zufällige Reihenfolge zur Standardeinstellung zu machen
- Für akademische Einrichtungen werden außerdem folgende Alternativen vorgeschlagen
- Mehr Bewertende für große Lehrveranstaltungen einstellen
- Bewertungsaufgaben auf mehr Personen verteilen
- Schulungen anbieten, um Bias beim Bewerten zu erkennen und zu reduzieren
1 Kommentare
Meinungen auf Hacker News
Ich arbeite in der Wissenschaft. Beim Korrigieren von Prüfungen entspricht die Reihenfolge des Stapels der Reihenfolge, in der die Arbeiten im Hörsaal eingesammelt wurden; normalerweise sitzen fünf Leute in einem Raum, und jede Person übernimmt nur bestimmte Aufgaben, um Konsistenz zu gewährleisten.
Jede Person nimmt sich den Stapel, sucht Arbeiten heraus, bei denen ihre Aufgabe noch nicht korrigiert wurde, und zieht sie heraus. Dadurch werden die Arbeiten stark durchmischt, und die tatsächliche Korrekturreihenfolge kann man praktisch als zufällig ansehen.
Wöchentliche Aufgaben während des Semesters werden dagegen in ein Repository committed, und die Ordner der Studierenden beginnen mit dem ersten Buchstaben ihres Namens. Wir waren uns alle einig, dass man die Korrekturreihenfolge aus Fairnessgründen jede Woche mischen sollte. Am Anfang ist man weniger müde, bei den letzten zwei oder so hebt sich die Stimmung, weil man denkt, dass man gleich fertig ist; besonders am Anfang hat man häufige Fehler noch nicht alle gesehen, bekommt noch kein Gefühl dafür und übersieht sie, während man sie bei späteren Abgaben sofort erkennt.
Ein weiterer Alphabet-Effekt: In der Grundschule stand ich ganz oben auf der Klassenliste und musste deshalb oft Dinge übernehmen wie die Gruppenkarte fürs Museum halten, etwas protokollieren, als Erste vor allen anderen etwas tun, das niemand zuerst machen wollte, oder bei Sportbewertungen als Erste dran sein. Ich war ein ziemlich schüchternes Kind, daher hat mich das schon ab der ersten Klasse genervt.
So bekommen Studierende mit demselben Fehler dieselbe Punktzahl. Außerdem wird die Reihenfolge der Arbeiten nach jeder abgeschlossenen Aufgabe tendenziell ganz von selbst durchmischt.
Für einfache Multiple-Choice-Fragen ist das nicht nötig und für lange Essays passt es auch nicht gut, aber für technische Kurzantwort-Fragen in Informatik und Security funktionierte es sehr gut.
Der Grund ist, dass man erst, nachdem man alle Fehler einmal gesehen hat, beurteilen kann, wie schlimm ein bestimmter Fehler tatsächlich ist.
Trotzdem bekam ich ohne irgendeine Notiz oder Markierung 80 %.
In den letzten 25 Jahren habe ich mich immer wieder gefragt, wie gründlich studentische Arbeiten tatsächlich geprüft werden.
Ich arbeite im EdTech-Bereich, und jedes Mal, wenn wir eine Funktion einbauen, die eine manuelle Prüfung von Schülerarbeiten durch Lehrkräfte erfordert, sieht man, dass manche Lehrkräfte sehr gewissenhaft sind und andere sie überhaupt nicht anfassen.
Mit dem ersten, roten Stift markierte ich punktuelle Probleme wie Rechtschreibfehler oder offensichtliche Anwendungsfehler. Dabei bekommt man ganz von selbst ein Gefühl für das allgemeine Schreibniveau und kann alle Texte schnell überfliegen.
Mit dem zweiten, grünen Stift markierte ich vor allem am Rand gute Argumente oder Stellen, an denen eine Schlussfolgerung erreicht wurde, um die nächste Phase vorzubereiten. Auch das machte ich bei allen Texten.
Mit dem dritten, blauen Stift bewertete und kritisierte ich die Qualität des Textes. Manchmal hinterließ ich kurze Randnotizen oder schrieb einen Kommentar ans Ende des Essays.
Die Studierenden lachten zwar über die hübschen Farben, aber wenn ich Methode und Gründe erklärte, verstanden sie es eindeutig und waren wohl auch dankbar dafür.
Ob es damit zusammenhängt oder nicht: Als ich in den 80ern und frühen 90ern auf K-12-Schulen war, wurden wir immer alphabetisch nach Nachnamen von vorne nach hinten gesetzt. Kinder mit Nachnamen etwa von A bis D saßen immer vorne, U bis Z immer hinten, und das in allen Fächern.
Ich erinnere mich, dass viele meiner Freunde Nachnamen in der Nähe meines eigenen hatten, weil wir eben immer nah beieinander saßen. Spätestens in der Highschool schien es deutlich mehr leistungsstarke Schüler mit A-D-Nachnamen zu geben und mehr Problemfälle im U-Z-Bereich.
War das eine Folge davon, näher an der Lehrkraft zu sitzen und mehr Aufmerksamkeit zu bekommen? Es war kein Experiment und es gab keine Kontrollgruppe, also kann man es nicht wissen.
Unter meinen Freunden gab es ebenfalls viele Kinder mit Brille, und weil Brillen die Sehschwäche nicht vollständig korrigierten, bevorzugten sie vordere Plätze.
Natürlich könnte man sagen, dass die Schüler, die in Woche 1 vorne angefangen hatten, trotzdem noch einen Vorteil hatten, aber vermutlich keinen sehr großen.
Da meine Initialen Z und W sind, nehme ich alphabetische Sortierung oft bewusst wahr. Als ich einen Freund mit den Initialen A und B fragte, sagte er, er habe darüber noch nie nachgedacht.
Einen Unterschied bei Noten oder Ranglisten habe ich nicht gespürt, aber ich habe viel häufiger gehört: „Bevor du dran warst, waren die Sachen/die Zeit usw. schon aufgebraucht.“ Dadurch wurde ich deutlich sensibler für Planungs- und Organisationsprobleme.
Ich war alphabetisch ganz am Ende, und das war schon beim Aussuchen von Büchern ein Problem gewesen. Man durfte sich Bücher auswählen, aber immer in alphabetischer Reihenfolge; wenn ich dran war, waren nur noch wenige übrig und die beliebten waren alle weg.
Als ich endlich an der Reihe war, Murmeln zu bekommen, waren auch die alle weg. Als ich fragte: „Wo sind meine Murmeln?“, zuckte die Lehrkraft mit den Schultern und sagte: „Sie sind alle weg.“ Ich war wohl etwa sieben, habe viel geweint und glaube, ich bekam von anderen Kindern ein paar Murmeln, aber eigentlich waren die Murmeln selbst nicht der Punkt.
Ich verstehe bis heute nicht, wie man bei so einem Vorgehen ein anderes Ergebnis erwarten kann.
Eines Tages sagte die Lehrkraft sinngemäß: „Heute drehen wir die Reihenfolge um, aber wir sortieren auch nach Vornamen.“ Mein Vorname begann mit A, sodass ich am Ende wieder ganz hinten stand, was alle sehr amüsierte.
An unserer Universität war fast die gesamte Benotung pseudonymisiert. Zu Beginn jedes Jahres bekamen wir eine zufällige Prüfungsnummer, und bei wichtigen Aufgaben oder Prüfungen schrieben wir diese Nummer auf.
Bei weniger wichtigen Kursaufgaben ging man nicht ganz so weit und nutzte oft die Matrikelnummer, aber die Grundidee war dieselbe.
Abgesehen von Hausarbeiten und ein paar kleinen Aufgaben, die keinen Einfluss auf die Gesamtnote hatten, schrieben wir keine Namen darauf. Die Anonymisierung aufzuheben war zwar nicht besonders schwierig, gab dem System aber etwas mehr Integrität.
Das ist sehr einfach umzusetzen; ich weiß nicht, warum es nicht häufiger genutzt wird.
Ich glaube, unsere virtuelle Lernumgebung sortierte Aufgaben auch eher nach Abgabezeitpunkt als nach irgendeinem Identifikator.
Sie lösen Verzerrungen gegenüber einzelnen Personen, aber nicht Verzerrungen, die mit der Art zusammenhängen, wie Einreichungen sortiert werden.
Zufällige Identifikatoren zusammen mit einer zufälligen Sortierreihenfolge zu verwenden, scheint richtig zu sein.
Bei Blind-Review-Konferenzvorschlägen bin ich mir allerdings weniger sicher, ob das eine gute Idee ist. Wenn ich aus früherer Erfahrung weiß, dass jemand mit sehr hoher Wahrscheinlichkeit einen Volltreffer landen wird, reizt es mich weniger, zu demselben Thema eine zufällige Person ohne klar erkennbare Qualifikation auszuwählen. Natürlich kann es eindeutig zu weit gehen, nur Freunde aus dem Komitee auszuwählen.
Auch wenn die Benutzernamen äußerlich zufällig waren, begannen bestimmte Namen im Diskussionsforum des Kurses einen Ruf zu bekommen, und die Studierenden erkannten einige Namen wieder.
Allerdings sind die Bewertungskriterien in Informatikkursen meist ziemlich objektiv, daher weiß ich nicht, wie wichtig die Anonymität wirklich war.
Es heißt zwar: „Die einfache Lösung ist, eine zufällige Reihenfolge zum Standard zu machen“, aber „gelöst“ bedeutet hier, dass die Verzerrung zufällig wird. Vermutlich bekommt der Student, der zuletzt bewertet wird, weiterhin schlechtere Noten.
Aus meiner Erfahrung als Tutor existiert diese Verzerrung definitiv. Aber sie verwandelt eine völlig falsche Antwort oder eine hervorragend richtige Antwort nicht in etwas anderes.
Später wusste ich, welche Studierenden Schwierigkeiten hatten und welche gut waren. Wenn ein guter Student etwas falsch hatte, war offenbar etwas Größeres passiert, also überflog ich das zuerst grob, sah mir dann die Probleme der schwächeren Studierenden an, bewertete den Rest in der Reihenfolge des Eingangs und schaute mir am Ende noch einmal die schwächeren und die guten Studierenden an. Ich brauchte eine Baseline, um zu sehen, wie schlecht die schlechtesten Antworten tatsächlich waren. Manche Aufgabenblätter waren gewissermaßen ein zufälliges Abenteuer.
So aufgeschrieben klingt das völlig nüchtern und kalt, aber sich bei Übungsaufgaben auf das untere Drittel zu konzentrieren und den Tutoren und Professoren weiterzugeben, wo sie hängen bleiben, war für alle sehr hilfreich, besonders für diese Studierenden. Es half ihnen, wichtige Grundlagen wirklich zu festigen.
Als ich vor ein paar Monaten zum ersten Mal benotet habe, habe ich das auch gespürt.
Die zuerst bewerteten Antworten hatten bestimmte Fehler nicht gemacht oder auf die erwartete Weise geantwortet; wenn ich später unerwartete Antworten oder Fehler sah, musste ich die Punkte der bereits bewerteten Antworten überdenken. Zum Beispiel gab es Fälle, in denen mich die Antwort einer Person dazu brachte, eine Antwort, die ich für falsch gehalten hatte, als weniger falsch zu empfinden.
Es war ein kleiner Kurs, daher konnte ich zurückgehen, und die Abgabereihenfolge war bereits einigermaßen gemischt, also habe ich so bewertet. Andernfalls wäre sicher eine Verzerrung entstanden.
Erst nachdem ich ein paar Mal gesehen hatte, dass ein bestimmter Bug sehr häufig war, bewertete ich ihn neu, und wie sich herausstellte, war es ein Fehler, der leicht passieren konnte.
Oder ich entdeckte, dass ein neuer Bug, den ich anfangs nicht kannte, ziemlich häufig vorkam. Dann musste ich die Tests aktualisieren und für alle erneut laufen lassen.
Ich versuchte, ziemlich gründlich zu sein, und schaute am Ende oft den ganzen Stapel noch einmal durch, aber es war wirklich mühsam. Ich hätte es auch schlampig machen können, aber die Studierenden hatten wochenlang daran gearbeitet, also hatte ich das Gefühl, ihnen ehrliches Feedback zu schulden.
Dadurch wurde die Bewertung tendenziell auch nachsichtiger. Wenn man bequem nur ein paar Bugs prüft, zieht man für jedes Problem viele Punkte ab, was gegenüber den Studierenden, die zufällig genau in die erwarteten Bugs liefen, nicht fair ist. Wenn man alle Bugs findet, bleibt einem nichts anderes übrig, als pro Bug nur ein paar Punkte abzuziehen, damit nicht die Noten aller ruiniert werden.
Ich bin in derselben Situation und mache es genauso. Ich traue mir nicht zu, von Hand wirklich zufällig zu sortieren, also verlasse ich mich auf die sehr schwache Zufälligkeit der Abgabereihenfolge.
Das ist praktisch der Grund, warum die Nachnamen unserer Kinder so sind.
Mein Nachname beginnt mit E, der Nachname meiner Frau mit Y. Entgegen der Tradition änderte meine Frau bei der Heirat ihren Nachnamen nicht, und als die Kinder geboren wurden, mussten wir entscheiden, welchen Nachnamen sie bekommen sollten. Wir entschieden uns für einen Doppelnamen mit Bindestrich.
Historisch war bei Doppelnamen mit Bindestrich die Reihenfolge Nachname der Frau – Nachname des Mannes. Meine Frau mochte es aber beim Aufwachsen nicht, dass ihr Nachname am Ende des Alphabets stand.
Also brachen wir erneut mit der Tradition und stellten meinen Nachnamen nach vorne, damit die Kinder bei alphabetischer Sortierung weiter vorne stehen. Außerdem beginnen die Vornamen unserer Kinder mit A und B, sodass sie auch bei Sortierung nach Vornamen vorne auftauchen.
Wenn man wirklich mit der Tradition brechen will, sollte man nicht heiraten, sondern einfach zusammenleben und Kinder bekommen.
Schließlich gibt es kaum etwas Traditionelleres als die Ehe, oder?
Mein Nachname beginnt mit einem Buchstaben ziemlich weit hinten im Alphabet, deshalb fallen mir solche Dinge immer auf. Ein Beispiel von diesem Jahr: Mein Sohn besucht in der Highschool einen Kurs, in dem er für ein langfristiges Projekt kontinuierliches Feedback der Lehrkraft braucht.
Die Lehrkraft prüft die Projekte alphabetisch nach Nachnamen, schafft es aber in etwa 40 % der Fälle nicht bis zur unteren Hälfte der Klasse und sagt, man solle nach der Schule vorbeikommen, wenn es Probleme gibt. Aufgrund der Art des Projekts sind proaktive Kommentare der Lehrkraft jedoch unbedingt nötig.
Deshalb sage ich meinem Sohn, er solle auch ohne konkrete Probleme zur Lehrkraft gehen und sich proaktiv Feedback holen, aber nicht alle Kinder machen das – und dadurch entsteht die Möglichkeit, eine schlechtere Note zu bekommen.
Ich frage mich, warum Helen Wang genau das als Forschungsthema gewählt hat.
Mir kommen die gravierenden unbeabsichtigten Folgen von Sortierung in den Sinn.
Ähnlich wie der Hungry-Judge-Effekt [1]. Das ist der Effekt, dass Richter vor einer Pause tendenziell strenger und nach einer Pause großzügiger sind.
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect