Historische Sprachmodelle, die nur mit Texten von vor 1913 trainiert wurden

• History LLMs sind zeitlich gesperrte Large Language Models (LLMs), die ausschließlich mit Texten aus der Zeit vor einem bestimmten Stichtag trainiert wurden und als Forschungswerkzeug zur Rekonstruktion historischer Sprache und Denkweisen dienen
• Die Ranke-4B-Serie ist eine Modellfamilie mit 4 Milliarden Parametern auf Basis der Qwen3-Architektur und umfasst Versionen mit Wissensgrenzen für 1913, 1929, 1933, 1939 und 1946
• Die Trainingsdaten bestehen aus 80 Milliarden Tokens, ausgewählt aus einem zeitlich geordneten Textkorpus mit 600 Milliarden Tokens, wobei Werturteile der Originalquellen ohne Bias-Korrektur beibehalten werden
• Beispielantworten zeigen unter anderem ein 1913er-Modell, das Hitler nicht kennt, Kritik an der Sklaverei sowie zeittypische Vorurteile gegenüber Frauenarbeit und sexuellen Minderheiten
• Das Projekt bietet Forschenden aus Geistes-, Sozial- und Computerwissenschaften ein Fenster zur Erforschung kollektiver Sprachmuster historischer Diskurse

---

Projektüberblick

• History LLMs ist ein Forschungsprojekt, das nach Zeitpunkten gesperrte Large Language Models aufbaut, um historische sprachliche Weltbilder zu rekonstruieren
  • Die Modelle sind so konzipiert, dass sie keinen Zugriff auf Informationen nach einem bestimmten Jahr haben
  • Normative Urteile, die sich im Pretraining gebildet haben, werden nicht künstlich verändert
• Alle Trainingsdaten, Checkpoints und Repositories sollen veröffentlicht werden; zugleich wird an einem Zugangssystem für die wissenschaftliche Nutzung gearbeitet
• Ziel des Projekts ist es, in den Geistes-, Sozial- und Computerwissenschaften historische sprachliche Denkstrukturen zu erforschen

Die Modellreihe Ranke-4B

• Ranke-4B, geplant für die Veröffentlichung im Dezember 2025, ist eine LLM-Familie mit 4 Milliarden Parametern
  • Sie basiert auf der Qwen3-Architektur und umfasst fünf Versionen mit Wissensgrenzen für 1913, 1929, 1933, 1939 und 1946
  • Trainiert wird mit 80 Milliarden Tokens, ausgewählt aus 600 Milliarden Tokens zeitlich geordneter Texte
• Pretraining-, Post-Training-Daten und Checkpoints sollen über GitHub und Hugging Face bereitgestellt werden

Beispielantworten

• Das 1913er-Modell antwortet, dass es „Adolf Hitler“ nicht kenne, und spiegelt damit nur Informationen wider, die bis zu diesem Zeitpunkt verfügbar waren
• Zur Sklaverei antwortet es, sie stehe „im Widerspruch zum öffentlichen Recht und zum Geist der Unabhängigkeitserklärung“
• Auf Fragen zur Frauenarbeit antwortet es, die Beschäftigung von Frauen liege „im Ermessen des Arbeitgebers“
• Bei der Frage nach der Wahl zwischen männlichen und weiblichen Kandidaten antwortet es, ein Mann sei „vertrauenswürdiger“
• Über Homosexuelle heißt es, sie würden „moralisch verurteilt, teils aber auch als krank betrachtet“
• Diese Antworten zeigen, dass das Modell die Vorurteile und Wertvorstellungen der jeweiligen Gesellschaftszeit unverändert widerspiegelt

Das Konzept von History LLMs

• Modelle, die nur mit Texten aus der Zeit vor einem bestimmten Jahr trainiert wurden, rekonstruieren kollektiv das sprachliche Weltbild ihrer Epoche
  • Beispiel: Das 1913er-Modell antwortet nur auf Grundlage von Zeitungen und Schriften aus der Zeit vor dem Ersten Weltkrieg
• Im Unterschied zum „historischen Rollenspiel“ moderner LLMs gibt es hier keine nachträgliche Wissenskontamination (hindsight contamination)
  • GPT-5 und ähnliche Modelle kennen den Ausgang der Kriege und können daher keine vollständig authentische Perspektive von 1913 wiedergeben
• Zeitlich gesperrte Modelle sind nützlich, um die damaligen Denkmöglichkeiten und Grenzen des Diskurses zu erforschen

Charakter und Grenzen der Modelle

• Diese Modelle sind komprimierte Repräsentationen großer Textkorpora und können als Werkzeuge zur Untersuchung von Diskursmustern dienen
• Sie bilden jedoch nicht vollständig die öffentliche Meinung ab, sondern stützen sich vor allem auf Veröffentlichungen gebildeter Schichten
• Sie sind kein Ersatz für menschliche Interpretation und übernehmen die Verzerrungen historischer Quellen unverändert

Sensible Inhalte und Zugangskontrolle

• Die Trainingsdaten enthalten unter anderem Rassismus, Antisemitismus, Frauenfeindlichkeit und imperialistische Perspektiven
• Das Modell reproduziert diese Inhalte unverändert; dies wird jedoch als notwendiger Bestandteil der Rekonstruktion historischer Diskurse betrachtet
• Um Missbrauch außerhalb des Forschungszwecks zu verhindern, wird an einem verantwortungsvollen Zugangssystem gearbeitet

Beteiligung und Zusammenarbeit

• Das Forschungsteam begrüßt Vorschläge und Kooperationen zu folgenden Punkten
  • Prioritäten bei Zeitabschnitten und Regionen, die analysiert werden sollen
  • die Gestaltung überprüfbarer Fragestellungen
  • Methoden zur Validierung der Ausgaben sowie verantwortungsvolle Veröffentlichungsansätze
• Kontakt: [e-mail]

Zitationshinweis

• Ein Beispiel für die Projektzitation wird bereitgestellt
  • Göttlich, Loibner, Jiang, Voth (2025), History LLMs, University of Zurich & Cologne University, einschließlich GitHub-URL