Wer sich nach Gewissheit sehnt, sehnt sich nach Lügen

 (etymonline.com)
1 Punkte von GN⁺ 2023-09-27 | 1 Kommentare | Auf WhatsApp teilen
  • Die Wortfrequenzdiagramme von Google Ngram Viewer können aufgrund der Google-Books-Daten und von Mängeln in der Berechnungsformel Veränderungen im englischen Sprachgebrauch des 20. Jahrhunderts verzerren; selbst häufige Wörter wie said und toast wirken, als seien sie in den 1970er- bis 1980er-Jahren verschwunden und dann wieder aufgetaucht
  • Das Google-Books-Korpus enthält viele von Universitäten gesammelte Materialien sowie einen hohen Anteil moderner wissenschaftlicher und akademischer Zeitschriften und Lehrbücher, was die Häufigkeit mancher Wörter aufblähen und die Häufigkeit anderer Wörter relativ verringern kann
  • Wegen des langen s (ſ) in alten Druckwerken, Schreibvarianten, Pluralformen und falschen Datierungen kann Ngram Fälle wie fuck und suck, authorise und authorize sowie dog und dogs nicht sauber unterscheiden
  • Die etymologischen Erklärungen von Etymonline beruhen auf gedruckten Quellen und menschlicher Arbeit; Ngram hingegen ist eher dekoratives Anschauungsmaterial und daher schwer zu vertrauen, wenn es mit etymologischen Erklärungen kollidiert
  • Online werden Bilder leichter ausgewählt als Texte, doch Ngram-Diagramme sollten nicht als endgültiger Beleg für Wortgebrauch gelten, sondern als unvollständige Datenvisualisierung behandelt werden

Die seltsamen Wortfrequenzen, die Google Ngram erzeugt

  • Die Häufigkeit von said im Google Ngram Viewer wirkt weniger wie eine tatsächliche Veränderung englischer Verben im 20. Jahrhundert, sondern eher wie eine schwankende Temperaturkurve der letzten Eiszeit
    • Englische Autorinnen und Autoren haben in den 1970er-Jahren nicht plötzlich aufgehört, said zu verwenden, um dann wieder damit anzufangen
  • Auch toast erscheint in Ngram so, als sei es um 1980 herum fast aus dem Englischen verschwunden und danach wieder aufgetaucht
    • Dies wird mit der „großen Toast-Hungersnot von 1977“ verglichen
  • Eine Ursache des Problems liegt in einem seit Langem bekannten Mangel der Ngram-Formel, der aus Google Books übernommen wurde
    • Dieser Fehler lässt viele englische Wörter so erscheinen, als hätten sie im gesamten 20. Jahrhundert abgenommen und seien um 1980 wiederbelebt worden
  • Im Google-Books-Korpus steckt viel Druckmaterial, das von Universitäten aufgenommen wurde; außerdem ist der Anteil moderner wissenschaftlicher und akademischer Zeitschriften sowie Lehrbücher unverhältnismäßig groß
    • Akademische Texte neigen dazu, einige wenige Wörter immer wieder zu verwenden
    • Dadurch werden die Werte mancher Wörter aufgebläht, während andere Wörter relativ niedriger erscheinen
    • Diese Struktur trägt dazu bei, dass in den Ngrams fast aller Wörter ein Dip in der Mitte des 20. Jahrhunderts entsteht
  • said dürfte in akademischen Texten deutlich seltener vorkommen als in Romanen oder Zeitungen, während ein Wort wie graph in akademischen Texten viel häufiger verwendet wird
    • Im Ngram von graph für das 20. Jahrhundert zeigt sich derselbe Dip nicht

Verzerrungen durch OCR-, Rechtschreib- und Datierungsfehler

  • In Ngram erscheint das F-word so, als sei es vor der Moderne kaum verwendet worden, während seine Nutzung vor 1820 stark ansteigt
    • Viele dieser Fälle sind nicht tatsächlich fuck, sondern das alte suck
    • Das lange s (ſ) alter Drucke kann in abgenutzten Schriften und auf billigem Papier wie ein kleines f aussehen
    • Dieses Zeichen kam um 1820 herum außer Gebrauch, und manchmal unterscheidet nur der Kontext zwischen f und s
    • Es wird davon ausgegangen, dass KI diesen Unterschied nicht kennt
  • Google Books erkennt die Gleichwertigkeit von Schreibvarianten schlecht
    • Das Ngram von authorise unterscheidet sich von authorize, und beide enthalten authorizes nicht
    • Auch bei Substantiv-Ngrams werden Pluralformen nicht mitgezählt, sodass dog und dogs getrennt betrachtet werden
  • Es gibt auch viele Google-Books-Dateien mit falschen Datierungen
    • Eine 1896 auf dem Einband eines alten Bibliotheksbuchs kann für einen digitalen Scanner wie 1800 aussehen
    • Es gab einen Fall, in dem ein Bündel von Bibelheften aus den 1910er-Jahren eine Zeit lang als Publikation von 1799 angezeigt wurde
    • Dieses Datum war nicht das Veröffentlichungsdatum, sondern das Gründungsjahr im Logo der Gesellschaft, die die Bibelhefte gedruckt hatte
    • Es gibt auch ein Video zu verwandten Problemen
  • Die Texte von Etymonline werden vollständig aus gedruckten Quellen erstellt und von Menschen bearbeitet; bei Ngram ist das nicht der Fall
    • Ngram wird als grobes Produkt einer unwissenden, schwer vertrauenswürdigen Technologie bewertet
    • Wegen eines Online-Umfelds, in dem Bilder gewinnen und Texte verlieren, ist Ngram auf der Website eingebunden
  • Ngram sollte nicht als endgültiger Beleg für Wortgebrauch verstanden werden, sondern eher als dekorative, unterhaltsame Visualisierung
    • Wenn die etymologischen Erklärungen von Etymonline und Ngram von Anfang an in Konflikt stehen, sollte man davon ausgehen, dass Etymonline richtig liegt und Ngram falsch ist

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-09-27
Kommentare auf Hacker News

  • Der beste Teil dieses Artikels ist meiner Meinung nach die Kritik an ngrams, und allgemeiner die Kritik daran, wie ngrams in modernen Algorithmen breit eingesetzt werden.
    Besonders treffend ist die Stelle, dass Etymonline auf gedruckten Quellen und von Menschen verfassten Texten beruht, während ngrams das grobe Produkt einer ahnungslosen Technologie sind, die nicht einmal den Unterschied zwischen „influence“ und „inform“ gelernt hat.
    Das liest sich wie eine scharfe Entgegnung auf Algorithmen und Social Media, die menschliche Sprache und Interaktionen zu quantifizieren versuchen, dabei meist falsch liegen und zugleich die Gewinnmaximierung ihrer Besitzer verfolgen.
    In einer Zeit, in der man hört, generative KI sei im Grunde ein ngram-Prädiktor, wirkt das umso gewichtiger.

    • Die Stelle „Etymonline besteht vollständig aus gedruckten Quellen und von Menschen erstellten Texten, Ngrams nicht“ ist etwas verwirrend.
      Falls „gedruckte Quellen“ bedeuten soll, dass digitale Quellen nicht enthalten sind, scheint das mit dem im Text genannten Problem nicht viel zu tun zu haben.
      Wenn nicht sämtliche Druckwerke vollständig erfasst sind, kann genauso das Problem eines verzerrten Datensatzes entstehen, und Menschen können ebenso Fehler machen wie OCR.
    • „Beeinflusst werden“ und „informiert werden“ wirken wie zwei Seiten derselben moralischen Medaille.
      Man sagt, die Gedanken anderer seien nicht ihre eigenen, behauptet aber zugleich, wir selbst seien tugendhafte Informationsempfänger, die zu eigenen Schlüssen gelangen.
      Der Tiefpassfilter des Geistes lässt nur durch, was in den bestehenden Rahmen passt.
      Wenn man etwas nicht zurückweist, dann sind sich davon informieren zu lassen und davon beeinflusst zu werden dasselbe; und wer in diesem Rahmen sagt: „Ich habe mich nur informiert“, wirkt selbstgefällig und wenig selbstreflektiert.
    • Wissen auf höchstem Niveau findet sich weiterhin in Druckwerken und wird weiterhin von Menschen geschaffen.
      Elektronische Medien sind wie eine verschlingende Seele: Sie produzieren nicht, sie fressen.

  • Der Witz in den Kommentaren auf dieser Seite, „ob Verlage immer noch jedes Frühjahr zur Schneeschmelze ganze Lkw-Ladungen von ‘is’ bestellen ...“, stimmt in Dictionopolis.
    Gibt es hier Fans von The Phantom Tollbooth?
    https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

  • Das Grundproblem der Datenanalyse ist: Die Qualität der Analyse ist nur so gut wie die Qualität der Daten.
    Schon die Bewertung der Datenqualität ist schwierig: Woran erkennt man, ob Daten gut sind, wie kann man sicher sein, wie misst und berichtet man das?
    Selbst wenn es qualitative und quantitative Bewertungen der Datenqualität gibt, stellt sich erneut die Frage, wie man sie zusammen mit den Analyseergebnissen präsentiert.
    Wenn man Ergebnisse quantitativ entsprechend der Datenqualität korrigieren will, braucht das je nach Projekt beträchtliche Maßarbeit und geht über ein simples Liniendiagramm hinaus.
    Bei Google Ngrams könnte man die Zusammensetzung der Datenquellen im Zeitverlauf in grobe Kategorien wie „Wissenschaft“ und „Nachrichten“ aufteilen und als Diagramm anzeigen, aber dafür müsste jedes Dokument kategorisiert werden, und es bräuchte außerdem Links und erklärende Texte an einer gut sichtbaren Stelle, damit die Leute sie auch tatsächlich ansehen.
    Trotzdem verhindert das nicht die intuitive Reaktion, die Menschen haben, wenn sie eine Zeitreihe sehen, in der die Verwendung eines Wortes zurückgeht.
    Ein besserer Ansatz könnte sein, die Unsicherheit der Zeitreihe zur Wortverwendung zu quantifizieren und sie im Diagramm zu überlagern.
    Hier sind die Nutzungszahlen selbst jedoch korrekt; die Unsicherheit entsteht durch die Stichprobenziehung. Man müsste also abschätzen, wie stark sich alle zu diesem Zeitpunkt verfassten Dokumente von den Dokumenten in der Stichprobe unterscheiden.
    Das mag möglich sein, wirkt aber nicht einfach; und selbst dann bleibt die Frage, ob Menschen die Unsicherheitsanzeige richtig interpretieren oder einfach nur die fallende Linie sehen und den Rest ignorieren.
    Je weiter wir in das KI-Zeitalter eintreten, desto wichtiger ist es, dieses Problem im Kopf zu behalten.
    In unserem Leben ist es ähnlich: Wir lernen aus den beobachteten Daten und bilden uns Meinungen, doch wie gut die Daten sind, die wir gesehen haben, und ob unsere Schlussfolgerungen gültig sind, bleibt stets fraglich.

  • Die Autoren behaupten, die ngram-Statistik zu „said“ sei falsch, und tun so, als gebe es Gegenbelege, liefern aber keine echten Beweise.
    Selbst auf ihrer eigenen Seite bieten sie nur die Google-ngram-Statistik an: https://www.etymonline.com/word/said#etymonline_v_25922
    Zusammen mit dem groben Fehler, auf der y-Achse des Diagramms die 0 nicht anzuzeigen, und einer falschen Interpretation des Diagramms wirkt das überhaupt nicht glaubwürdig, sondern wie ein sehr minderwertiger Text.

    • Die Verwendung von „said“ soll innerhalb von 60 Jahren auf die Hälfte gefallen und dann innerhalb der folgenden 20 Jahre wieder auf das frühere Niveau zurückgekehrt sein? Dafür müsste man Belege zeigen, dass sich Englisch derart und so schnell verändert hat.
      Eine solche Behauptung ist außergewöhnlich und braucht überzeugende Belege.
      Wenn es keine Belege gibt, glaube ich eher der Hypothese und Schlussfolgerung des Artikels, dass ngrams Murks sind.
      Dass der „toast“-Graph falsch interpretiert wurde, stimmt, und man hätte dieses schlechte Diagramm, das an einem niedrigen Punkt abgeschnitten ist, vorsichtiger lesen müssen.
    • Der Grund, warum es schwer ist, Belege vorzulegen, liegt darin, dass es im Grunde nur eine Quelle gibt.
      Deshalb weist der Artikel im Kern auf Schwächen der Google-Books-/Ngram-Methodik hin.
      Ich halte diesen Ansatz für gerechtfertigt.
      Andernfalls akzeptiert man etwas Fehlerhaftes nur deshalb, weil es existiert und leicht zu benutzen ist.
      Man muss nicht mit einer eigenen Studie die Wahrheit ermitteln, nur um auf die Aussage zu antworten: „Das meistgetwitterte Thema ist X, also ist es am beliebtesten und wichtigsten.“
      Es reicht auch zu sagen: „Das ist eine dumme Methodik, also akzeptiere es nicht einfach, nur weil Twitter das behauptet.“
    • Was man sich wünscht, wäre wohl, dass jemand Quellen wie Zeitungen prüft und feststellt, wie sich der Häufigkeitsanteil von „said“ über die Zeit verändert hat.
      Das ist eine vernünftige Forderung, aber ich finde es auch in Ordnung, wenn der Autor als Experte sagt, dass Zeitungen „said“ weiterhin in ähnlicher Häufigkeit verwendet haben.
      Diese Erklärung klingt plausibel, und ich sehe die Beweislast nicht zwingend beim Autor.
    • Dass „said“ so gefallen und wieder gestiegen sei, wie es der Graph zeigt, ist nicht die Seite, die Beweise braucht.
      Vielmehr braucht die außergewöhnliche Behauptung, dass es sich auf diese Weise verändert habe, Beweise.
      Diese Behauptung kommt von Google, und bevor man dem Blogautor die Schuld gibt, sollte man prüfen, wie repräsentativ der nicht einsehbare Datensatz ist.
      Sollen wir Statistiken, deren Eingabedatensatz wir nicht kennen, einfach nach dem Motto „Vertrau Google“ übernehmen?
    • EtymOnline ist keine Seite, die Veränderungen der Wortpopularität verfolgt, sondern versucht, Bedeutungswandel nachzuzeichnen.
      Daher ist es verständlich, dass der Eintrag zu „said“ keine konkreten Gegenbelege enthält.
      Der Grund, warum im Text keine Belege stehen, ist ebenfalls, dass die Behauptung, „said“ sei auf fast ein Drittel seines Höchststands gefallen, die weitaus außergewöhnlichere Behauptung ist und daher starke Belege braucht.
      Zu sagen: „Schon auf den ersten Blick ergibt das überhaupt keinen Sinn, und wahrscheinlich liegt es daran, dass sich die Genre-Zusammensetzung des Google-Datensatzes stark verändert hat“, reicht aus.

  • Der Ngram-Graph sagt nicht, dass „toast“ um 1980 herum im Englischen fast verschwunden und dann wieder aufgetaucht sei.
    Er scheint lediglich zu zeigen, dass die Nutzung seit 1800 um etwa 40 % zurückgegangen ist.
    Wie andere gesagt haben, gibt es eindeutig das Problem, dass die y-Achse nicht bei 0 beginnt.
    Aber wenn die Autoren von etymonline das nicht bemerkt und dennoch fälschlich so geurteilt haben, ist das schwer zu glauben; besonders ironisch ist das spätere Beispiel „Seht, es gibt keinen Rückgang“, weil dort die y-Achse bei 0 liegt und um 1980 herum sogar eine kleine Stagnationsphase zu sehen ist.
    Umso mehr, wenn man den übertriebenen, aggressiven Titel und den ersten Satz bedenkt.

    • Es geht nicht nur um die Achse des Diagramms.
      Die Nutzung von „toast“ ist nicht um 40 % gesunken; vielmehr hat sich der Google-Datensatz abrupt zu einer sehr anderen Genre-Zusammensetzung verändert.
      Ich habe mit Leuten gesprochen, die den Rückgang in den 1970ern erklären wollten, und niemand, mich eingeschlossen, hat erkannt, dass es sich um einen dramatischen Datenfehler handelte.

  • Ich finde, der Titel passt nicht gut zu diesem Text.
    Solche Ergebnisse haben weniger mit „Klarheit“ zu tun als mit dem Verlangen nach Clickbait, oder dessen wissenschaftlicher Variante.
    Zum Beispiel sind Paper in Science oder Nature nicht besonders wahrscheinlich korrekt, aber gerade in Bereichen wie Physik, die nicht zum eigenen Kerngebiet gehören, sind sie eher auffällig und radikal.
    Umgekehrt klang der Name „Real Clear Politics“ für mich immer bissig.
    Denn ich glaube, dass es in der Politik weder „Real“ noch „Clear“ gibt.
    Das beste Buch über Politik ist für mich Hunter S. Thompsons Fear and Loathing on the Campaign Trail ’72.
    Es ist ein persönlicher Erfahrungsbericht, in dem er den Kandidaten hinterherreist, um drei Uhr morgens Anhalter mitnimmt und auf einem Zug unter Drogeneinfluss ist, aber zugleich Momente scharfer Klarheit hat, etwa wenn er die parlamentarischen Verfahren versteht, die zu McGoverns Nominierung führten.
    In 20 Jahren wird ein sorgfältiges Buch erscheinen, das mit starken Argumenten zeigt, dass alles, was wir über die politischen Ereignisse von heute geglaubt haben, falsch war und dass in Wirklichkeit etwas anderes geschah.
    In der Zwischenzeit werden Menschen extrem unterschiedliche Perspektiven haben, und das ist die Realität.
    Adjektive wie „real“ und „clear“ sind ein Versuch, die meisten dieser Perspektiven zu verschließen und nur eine Sichtweise zu privilegieren.
    Das erinnert auch daran, wie Baudrillard in Simulacra and Simulation das Wort „real“ gründlich dekonstruiert hat.
    Es macht verständlich, dass Menschen, die Fälschungen verkaufen, das Wort „real“ in den Vordergrund stellen.
    Dass Scientology sich selbst als „Wissenschaft der Gewissheit“ bezeichnet, gehört in denselben Zusammenhang.

    • Auch dieses Buch, das in 20 Jahren erscheinen wird, wird falsch sein.
      Eine gute Sache an der Politik ist, dass die Motive sehr klar sind.
      Politiker wollen zuerst an der Macht bleiben, und der Wunsch, die Lage zu verbessern, kommt danach.
      Wenn man das weiß, ergibt alles Sinn.
      Selbst wenn man nie erfährt, was tatsächlich passiert ist.

  • Ein repräsentatives Bild der Vergangenheit lässt sich niemals erstellen.
    Man muss mit den begrenzten Quellen arbeiten, die überlebt haben, und sie sind zeitlich und räumlich nicht gleichmäßig verteilt.
    Wenn ein Mensch stirbt, entsteht ein grundlegender Datenverlust: Eindrücke, nicht aufgezeichnete Erfahrungen, sogar vertraute Gerüche verschwinden.
    Auch die Erinnerungen lebender Menschen können ab einem bestimmten Punkt unzuverlässig sein.

    • Deshalb fand ich es immer seltsam, warum nur Menschen mit einer durch Ruhm oder Reichtum verzerrten gesellschaftlichen Repräsentativität Wikipedia-Biografien bekommen.
    • Nicht erst ab einem bestimmten Punkt: menschliche Erinnerung ist erstaunlich unzuverlässig.
      Ein Beispiel, das man direkt ausprobieren kann: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

  • Es ist schwer zu sagen, dass Google Ngram falsch liegt.
    Es meldet Statistiken zu Wörtern, die im Korpus korrekt identifiziert wurden.
    Das Problem ist der Kontext dieser Statistik.
    Man kann mit einiger Sicherheit sagen: „Im Google-Books-Korpus ist die Verwendung von said zu einem bestimmten Zeitpunkt zurückgegangen.“
    Noch sicherer kann man das für die Teilmenge des Korpus sagen, in der OCR alle Vorkommen dieses Wortes korrekt erkannt hat.
    Aber ohne ausreichende Daten sollte man nicht die weitergehende Behauptung aufstellen, „dieses Wort sei zu einem bestimmten Zeitpunkt weniger verwendet worden“.

    • Wenn das Meme der Ökonomen „es kommt darauf an“ lautet, dann ist das transzendente Meme der Statistiker: Wir brauchen mehr Daten.
      Bis wir die Große Vereinheitlichte Theorie gelöst haben, können wir uns der Vollständigkeit der Daten oder statistischer Schlussfolgerungen nie völlig sicher sein.
      Falsch ist, die Öffentlichkeit von diesem Verständnis weg in die Irre zu führen.
    • Deshalb ist bei Inferenzstatistik über eine Grundgesamtheit die Stichprobenmethodik viel wichtiger als die Stichprobengröße.
      Eine Stichprobe von einer Million Büchern aus einem wissenschaftlichen Korpus zu ziehen und die zehn Bestseller aus jedem Jahrzehnt des 20. Jahrhunderts auszuwählen, führt zu sehr unterschiedlichen Sprachkorpora.

  • Das ist der klassische Fehler, auf der vertikalen Achse eines Diagramms die 0 nicht einzuschließen.
    Wenn man denkt: „Dann sieht man ja kaum eine Veränderung“, stimmt das.
    Lässt man die 0 weg, kann man auch kleine Veränderungen groß erscheinen lassen.

    • Andererseits gibt es auch Fälle, in denen man kleine Veränderungen hervorheben muss.
      Bei einer Regelkarte, die das Füllgewicht von Müslischachteln zeigt, würde man die 0 vermutlich nicht ins Diagramm aufnehmen wollen.
      Ebenso muss man die Tagestemperaturen einer Stadt nicht in einem Diagramm darstellen, das bis 0 Kelvin reicht.
    • Bin ich der Einzige, der denkt, dass das Diagramm selbst in Ordnung ist und nur der Text es etwas übertreibt?
      Es sah fast ein Jahrhundert lang stabil aus und fiel dann plötzlich um etwa 50 %.
    • Die Einbeziehung der 0 hätte beim „said“-Diagramm geholfen, das Problem aber nicht gelöst.
      Es hätte immer noch so ausgesehen, als sei „said“ auf fast ein Drittel seiner früheren Beliebtheit gefallen, obwohl sich in Wirklichkeit die Zusammensetzung der Stichprobe stark verändert hatte.

  • Bedeutet das, dass das n-gram falsch ist, oder dass die Aussagen, die man mit n-gram treffen kann, begrenzt sind?
    Die Daten sind interessant, aber ich bin mir nicht sicher, welche Schlüsse man daraus ziehen soll.
    Es fühlt sich seltsam an, weil man Bücher aus der Vergangenheit mit dem heutigen Vokabular abfragt.
    Ein einfaches Beispiel, das ich kenne: Wenn man nach „þe“ sucht, gibt es nicht viele Treffer.
    Historisch gesehen stimmt das im Großen und Ganzen, insofern „þ“ etwa im 15. Jahrhundert verschwand.
    Nimmt man aber „ye“ dazu, sieht man enorm viele Verwendungen.
    Ist das die beabsichtigte Funktion von n-gram?
    Es wirkt eher wie ein über die Jahre weitergereichter Kodierungsfehler.
    Das ist ähnlich, als würde man sich über die Große Vokalverschiebung ärgern, ohne zu erkennen, dass unsere phonetischen Zeichen keine feststehenden universellen Wahrheiten sind.