Warum wordfreq keine Updates mehr erhält
(github.com/rspeer)- wordfreq ist eine Momentaufnahme des Sprachgebrauchs aus verschiedenen Online-Quellen bis 2021; danach wurde das Projekt eingefroren, weil neuere Daten die Qualität eher verschlechtern könnten
- Seit 2021 hat sich im öffentlichen Web KI-generierter Text verbreitet, der wie von Menschen geschriebener Text aussieht, wodurch sich Wortfrequenzen auf Basis des tatsächlichen menschlichen Sprachgebrauchs nur noch schwer messen lassen
- Auch in den bisherigen Daten gab es Spam, der sich aber meist erkennen und handhaben ließ; generative KI-Ausgaben können jedoch, wie im Fall von ChatGPTs „delve“, die Häufigkeit bestimmter Wörter unnatürlich in die Höhe treiben
- Wichtige Quellen für umgangssprachliche Sprache, nämlich Twitter und Reddit, sind weggefallen oder teuer geworden, und historische Twitter-Daten durften aufgrund der Verteilungsbedingungen ohnehin nicht extern weitergegeben werden
- Da sich die Verarbeitung natürlicher Sprache zunehmend in Richtung generativer KI und geschlossener Daten verschiebt, möchte der Entwickler nicht, dass wordfreq generativer KI hilft oder mit dieser Arbeit verwechselt wird
Nachtrag vom September 2024
- Das Dokument zum Ende der wordfreq-Updates erhielt viel Aufmerksamkeit, und der Entwickler hat den Eindruck, dass die meisten Menschen seine Position weitgehend verstehen
- Er hat die Arbeit an Open-Source-Bibliotheken nicht insgesamt eingestellt; am vielseitigen Unicode-Korrekturwerkzeug ftfy arbeitet er weiterhin
- Das Einfrieren der Daten muss kein schlechtes Ende sein
- Viele Menschen haben wordfreq nützlich eingesetzt, und die aktuelle Version verschwindet nicht
- Es wird nicht weiter aktualisiert, weil eine Aktualisierung die Daten verschlechtern könnte
- Mit der Zeit werden die Daten veralten, aber sie werden nicht aktiv schlechter gemacht
Eine Momentaufnahme des Sprachgebrauchs bis 2021
- Die wordfreq-Daten sind eine Momentaufnahme des Sprachgebrauchs, wie er bis 2021 in verschiedenen Online-Quellen zu finden war
- Dass es keine weiteren Updates gibt, liegt am Zusammenwirken von Datenverunreinigung, Zugangskosten und dem Wandel im Bereich der Verarbeitung natürlicher Sprache
Ein durch generative KI verunreinigtes öffentliches Web
- Seit 2021 hält der Entwickler es für schwierig, verlässliche Informationen darüber zu erhalten, welche Sprache Menschen tatsächlich verwenden
- Das öffentliche Web, eine der Datenquellen von wordfreq, wurde über OSCAR genutzt
- Im heutigen Web im weiteren Sinne gibt es viel von großen Sprachmodellen erzeugten Text; würde man ihn einbeziehen, würden Wortfrequenzen verzerrt
- Auch in früheren Datenquellen gab es Spam, der sich jedoch in vielen Fällen erkennen und handhaben ließ
- Große Sprachmodelle erzeugen Text, der wie Sprache mit tatsächlicher Absicht wirkt, und diese Ausgaben verbreiten sich an vielen Orten
- Laut Philip Shapiras Beitrag über delve verwendete ChatGPT „delve“ zwanghaft und anders als Menschen es zuvor taten, wodurch die Gesamthäufigkeit um eine Größenordnung anstieg
Verschwundene oder teure umgangssprachliche Daten
- wordfreq behandelte nicht nur formelle Drucksprache, sondern sammelte stärker umgangssprachlichen Sprachgebrauch insbesondere von Twitter und Reddit
-
Twitter und X
- Die Grundlage aus Twitter-Daten war von Anfang an instabil
- Selbst in der Zeit, als Twitter kostenlosen Zugang zu Teilen des „firehose“ gewährte, untersagten die Nutzungsbedingungen, die gesammelten Daten außerhalb von Luminoso weiterzugeben
- In wordfreq sind zwar auf diesen Daten basierende Frequenzwerte enthalten, die gesammelten Rohdaten selbst gehörten dem Entwickler jedoch nicht und werden auch nicht mehr vorgehalten
- Twitter ist inzwischen verschwunden, die öffentliche API wurde geschlossen und die Plattform durch X ersetzt
- Selbst wenn X einen Rohdaten-Feed bereitstellen würde, glaubt der Entwickler nicht, darin noch wertvolle Informationen zu finden
-
Reddit
- Auch Reddit stellt keine öffentlichen Datenarchive mehr bereit
- Heute verkauft Reddit seine Archive, und der Preis liegt nach Darstellung des Entwicklers auf einem Niveau, das sich nur OpenAI leisten kann
Warum er Abstand zu generativer KI halten will
- wordfreq lag ursprünglich an der Schnittstelle von Arbeiten, die für Korpuslinguistik und Werkzeuge zur Verarbeitung natürlicher Sprache hilfreich waren
- Das Feld der „natural language processing“, wie der Entwickler es kannte, sei heute schwer wiederzufinden; aus seiner Sicht wird es von generativer KI verschlungen
- Andere Techniken existieren zwar weiterhin, doch generative KI zieht den Großteil von Aufmerksamkeit und Finanzierung auf sich
- Forschung zu NLP, die nicht auf geschlossene Daten angewiesen ist, welche von OpenAI und Google kontrolliert werden, hält er inzwischen für selten
- Arbeiten wie wordfreq, bei denen große Textmengen in vielen Sprachen gesammelt werden, galten früher als durchaus vernünftig
- Heute werden Werkzeuge zum Sammeln von Text vor allem für das Training generativer KI verwendet, und dass Menschen darauf defensiv reagieren, hält er für berechtigt
- Wenn Texte aus Büchern, Artikeln, Websites und öffentlichen Beiträgen gesammelt werden, ist es aus seiner Sicht sehr wahrscheinlich, dass damit eine Plagiatsmaschine gebaut werden soll, die die Worte anderer als ihre eigenen ausgibt
Fazit zum Update-Stopp
- Der Entwickler möchte nicht an Arbeit mitwirken, die mit generativer KI verwechselt werden könnte oder generativer KI nützt
- OpenAI und Google sollten ihre Daten selbst einsammeln und dafür, wie er sagt, einen sehr hohen Preis zahlen
- wordfreq wird nicht mehr aktualisiert, aber die bisherige aktuelle Version bleibt erhalten
1 Kommentare
Meinungen auf Hacker News
Im Großen und Ganzen stimme ich zu, aber das Web war bereits durch Googles inoffizielle SEO-Regeln verunreinigt
Ein-Satz-Absätze, Keyword-Wiederholungen und der Fokus auf „Indexierbarkeit“ statt Lesbarkeit machten das Web schon vor LLMs zu keiner idealen Datenquelle für solche Analysen
Das galt auch für Trainingsdaten; letztlich sind LLMs nicht mit Texten aufgewachsen, die für Menschen geschrieben wurden, sondern mit Texten für Googlebot. ML/LLMs sind die zweite Iteration der Verunreinigung des Schreibens; die erste begann, als Menschen anfingen, nicht mehr für andere Menschen zu schreiben, sondern für Unternehmens-Bots
Die Häufigkeiten werden verzerrt sein, aber das gilt für die meisten Texte; in einem Lehrbuch zur Vergaserwartung muss das Wort „carburetor“ zwangsläufig viel häufiger vorkommen als in der Grundlinie
Wenn es eine gesunde Mischung aus unterschiedlichen Büchern, Nachrichtenartikeln und Blogs gibt, ist das in Ordnung. LLM-Inhalte ähneln dagegen eher einer Schlange, die ihren eigenen Schwanz frisst: Man versucht, aus den Ausgaben eines Wortverteilungsmodells wieder ein statistisches Modell für Wortverteilungen zu bauen
Auch Zeitungen, Romane oder E-Mails an Vorgesetzte haben ihre eigenen Stile in Bezug auf Satz- und Absatzlänge, unnötige Wiederholungen und die Gewichtung von Kennzahlen jenseits der Lesbarkeit
Zumindest wenn es sich um Text handelt, der von Menschen mit Blick darauf geschrieben wurde, dass andere Menschen ihn möglicherweise lesen, kann man ihn als deutlich legitimere Sprachverwendung ansehen als maschinell erzeugten Text
Ich weiß nicht, wie lange das Internet das noch aushält, und meine Nutzung ist sogar gegenüber 2018 spürbar zurückgegangen. Es ist inzwischen so schwer, etwas Lesenswertes zu finden, dass ich am Ende viel Zeit hier verbringe
SEO-Spam ist nicht neu; nur seine Form hat sich verändert
2023 habe ich https://lowbackgroundsteel.ai/ als Ort zum Sammeln von Verweisen auf nicht verunreinigte Datensätze erstellt
Ich werde auch wordfreq hinzufügen; schickt mir also gern Material über Tumblr
Eine nützliche Liste, die ich bei meinen Recherchen erstellt habe, sieht so aus: 2017 Erfindung der Transformer-Architektur, Juni 2018 GPT-1, Februar 2019 GPT-2, Juni 2020 GPT-3, März 2022 GPT-3.5, November 2022 ChatGPT
Es wäre wohl auch gut, kiwix-Archive von vor dem gewählten Stichtag hinzuzufügen. Man findet sie im Internet Archive, und es gibt Wikipedia, Stack Overflow, Wikisource, Wikibooks sowie Versionen mehrerer Wikis
Wenn man solche Quellen sammelt, macht man es großen Tech-Unternehmen nur viel leichter, noch mehr Daten abzugreifen
Es ist schade, dass OP von der Natural-Language-Processing-Community, zu der ich gehöre, so enttäuscht wurde, und auch wenn es ein Hype ist und fast wie ein überhitzter Höhepunkt wirkt, möchte ich sagen: „Wir sind nicht alle so“
Das Problem, dass das Web durch künstliche Inhalte verunreinigt wird, ist aktuell; frühere Beispiele gab es ebenfalls, etwa Spam-Farmen, die PageRank manipulieren wollten
Deshalb könnte kuratierten Listen hochwertiger Websites von Menschen, dem sogenannten „Small Web“, neuer Wert zukommen
Jede Generation des Webs brauchte Technologien, um die adversarial Mechanismen ihrer Zeit zu überwinden, und das heutige Web ist keine Ausnahme
Als Eric Arthur Blair unter dem Pseudonym „George Orwell“ 1984 schrieb, sah er eine Situation voraus, in der die Öffentlichkeit automatisch generierte Inhalte konsumiert und sich vom kritischen Denken entfernt. Genau das geschieht jetzt; aber auch die kritisierte Technologie kann zum Guten eingesetzt werden, und in meiner NLP-Forschungsgruppe versuchen wir das. Am Ende wird das Gute gewinnen
Egal ob IRC, Usenet, Reddit, Facebook, Geocities, Yahoo, Webrings oder irgendein anderes Content-System: Sobald es Mainstream-Nutzung erreicht, scheint es von Rauschen verunreinigt zu werden
Auch kleine, kuratierte Optionen werden, wenn sie groß genug werden, irgendwann Opfer ihres eigenen Erfolgs und von Spam übernommen
Es ist immer ein Wettrüsten zwischen Qualität und Menge, und am Ende können Kuratoren mit der überwältigenden Menge nicht mehr mithalten
Es ist seltsam, wie wir solche „roten Linien“ immer weiter ganz selbstverständlich überschreiten. Wie in diesem Meme: Der SF-Autor sagt, er habe „als warnende Geschichte den Torment Nexus erfunden“, und das Tech-Unternehmen sagt: „Wir haben den Torment Nexus aus dem klassischen SF-Roman ‘Baut den Torment Nexus nicht’ gebaut“
Um es klar zu sagen: Das Web ist tot. Dank „KI“ verbringe ich heute mehr Zeit damit, Suchergebnisse zu durchwühlen, um etwas Nützliches zu finden, als 2005
Die Seiten, die man findet, sind größtenteils ebenfalls Müll
Zum Beispiel dauert es selbst bei einem bekannten kabellosen Ohrhörer mindestens 10 Minuten, obwohl ich die Firma, ihre Website und die Händler schon kenne. Weil alles unter lauter Kram begraben ist
Mein Laptop ist ein „alter“ 8-Core-i7 mit 16 GB RAM, und trotzdem hat er mit grafiklastigen „modernen“ Websites zu kämpfen. Früher waren Websites schlicht und funktionierten gut, sodass man Produkte schnell suchen und kaufen konnte; gestern Abend war es schon eine echte Qual, etwas in den Warenkorb zu legen und zu bezahlen
Ich hasse das Web, Browser, Webdesign, SEO, Suche, Werbung und all den billigen Mist, der dazugehört. Es reicht. Wenn es eine Möglichkeit gibt, etwas ohne Web zu kaufen, werde ich das tun. Ich hasse Technik nicht grundsätzlich, aber das Web ist inzwischen ein faules Ei
Jetzt schickt dieses Suchfeld den Suchbegriff erst an ein LLM, lässt einen 10–15 Sekunden warten und zeigt dann eine nutzlose Zusammenfassung nach dem Motto „Einige Rezensionen sagten dies und das“
Erst danach kann man auf einen Button klicken, um die tatsächlichen Rezensionen und Fragen zu sehen, in denen die gesuchten Wörter vorkommen. Das könnte mich dazu bringen, Amazon aufzugeben. Wenn es noch eine Möglichkeit gibt, direkt zu suchen, würde ich sie gern kennen
Früher war beim Suchen nach einem Schaltauge für ein Trek-Fahrrad das erste Ergebnis genau das Gesuchte. Jetzt muss man erst an fünf Anzeigen vorbei, die einem ein neues Fahrrad verkaufen wollen, und an einem kaputten Drittanbieter-Link; mit Glück findet man ganz unten auf Seite 1 den Link zur Ersatzteilseite
Die Vermüllung des Webs ist real
Empfohlenes Produkt: LEEZWOO 15.6" Laptop - 16GB RAM 512GB SSD PC Laptop, Quad-Core N95 Processor Up to 3.1GHz, Laptop Computers with Touch ID, WiFi, BT4.2, for Students/Business
Geht der Name nicht runter wie Öl
Diese Fähigkeiten gibt es noch. Sie waren eine Zeit lang nur durch Toolbars und Malware so verseucht, dass man sich zurückgezogen hat; jetzt sitzt die Malware auf der anderen Seite, und native Apps sind wieder cool. Man muss nur wissen, wo man hinschauen soll
Mein Aushängeschild ist hier: https://akkartik.name/freewheeling-apps
Allerdings scheint mit „Web“ hier nur das gemeint zu sein, was über Suchmaschinen erreichbar ist. Es gibt immer noch das alte Web: ein Web, das durch Beziehungen und Reputation vermittelt wird, nicht durch Aggregationsdienste mit Milliarden Nutzern. So wie der obige Link oder diese heldenhaft moderierte Seite, die wir gerade nutzen
Ich stimme der Aussage zu: „Ich glaube, seit 2021 hat niemand mehr verlässliche Informationen über den Sprachgebrauch von Menschen“
Text hat den Tipping Point schon vor einer Weile überschritten, aber bei Video fühlt es sich jetzt wie ein Wendepunkt an
Besonders kleine Kinder haben wenig Intuition dafür, was echt ist und was nicht. Wenn man mich fragt, ob eine Person in einem Video echt ist, antworte ich noch ziemlich selbstbewusst, aber dieses Vertrauen nimmt jeden Tag ab
Die Technik ist eindeutig bereit, und auch wenn der Großteil der Videoinhalte noch nicht betroffen ist, wird sich das meiner Ansicht nach bald ändern
https://www.nytimes.com/interactive/2024/01/19/technology/artificial-intelligence-image-generators-faces-quiz.html
Es ist etwas unfair, weil sorgfältig ausgewählte Beispiele verglichen werden, aber selbst Fachleute dürften bei solchen Tests nicht besonders oft richtigliegen. Die Technik bewegt sich nur nach vorn, und sie scheint dabei schneller zu werden
Erstaunlich ist das Tempo des Fortschritts. Die Menschheit gibt es seit fast 3 Millionen Jahren, Homo sapiens seit etwa 300.000 Jahren, Städte, Landwirtschaft und Zivilisation seit etwa 10.000 Jahren, Metalle seit etwa 4.000 Jahren, die industrielle Revolution seit 500 Jahren, Demokratie seit 200 Jahren und Computing seit ungefähr 50 bis 100 Jahren
Die Abstände zwischen Revolutionen werden fast exponentiell kürzer
Wenn ich die heutige Welt mit meiner Kindheit vergleiche, ist eine der Revolutionen, die ich immer noch verarbeite, die automatisierte Fertigung. Auf AliExpress sind unglaublich viele Dinge praktisch kostenlos. Ich habe ein 5-Port-120-W-Ladegerät für weniger als zwei Minuten meiner Arbeitszeit gekauft, und die Zeit zum Finden war kürzer als die Zeit, um das Geld zu verdienen
Ich weiß nicht genau, wohin das alles führt
Ich markiere häufig echte Menschen als „irgendwie fake“, wenn sie die Verhaltensmuster von TikTok-, Instagram- oder YouTube-Creators übernommen haben
Mein Bart ist auch schon grau meliert, aber schon in einem Vortrag von 2020 habe ich mich über YouTube-Thumbnail-Gesichter lustig gemacht. KI greift solche „halbmenschlichen“ Verhaltensmuster sehr schnell und sehr stark auf
Es kursierte ein Video mit jeweils zwei jungen Frauen, die Schilder mit „This is real“/„This is not real“ hochhalten; beide könnten völlig gelogen sein, und ich kann es nicht unterscheiden. Alle zeigen ein leicht „seltsames“ Verhaltensmuster, aber es passt zu den wenigen Influencer-Videos, die ich gesehen habe
Die Aussage „Inzwischen ist das gesamte Web voller Slop, der von großen Sprachmodellen erzeugt wurde, den niemand geschrieben hat und der nichts vermittelt“ ist fair und zutreffend.
Selbst im besten Fall hat die Person, die das Modell laufen ließ, den Text nicht geschrieben, und der Wortsalat vermittelt nicht das, was diese Person eigentlich sagen wollte.
In vielen Fällen wird Content einfach für SEO ausgeschüttet, ohne die Absicht, für irgendjemanden einen Wert zu haben.
Vielleicht könnten Papierbücher aus der Zeit vor 2020 in 10 bis 20 Jahren zu einer wertvollen Ware werden.
Nämlich dann, wenn das Internet voller Slop ist und selbst Papierbücher aus jener Zeit unter Verdacht geraten.
Und es wird menschliche Talking Heads geben, die so tun, als seien sie die Autoren von Büchern, die von einer sehr klugen KI geschrieben wurden. Warum zum Teufel machen wir das eigentlich?
Warnung: staatlich gesponserte KI-Desinformation
Ich habe zu diesem Thema sehr gemischte Gefühle.
Einerseits stimme ich Robyn Speer vollkommen zu. Das offene Web ist tot, und das Web ist in einem wirklich traurigen Zustand. Vor ein paar Tagen habe ich beschlossen, meinen persönlichen Blog auf gopher zu stellen. Einfach weil es auf gopher viel weniger Müll gibt; natürlich heißt das nicht, dass gopher die Lösung ist.
Vor ein paar Wochen musste ich jedoch dem Großvater meiner Frau, der 97 Jahre alt ist, in einem anderen Land lebt und weder Computer noch Mobiltelefon benutzt, eine Videodatei schicken. Am Ende stellte sich heraus, dass er einen DVD-Player hat, und ich nutzte x264, um modernes 4K-HDR-Video in ein Format umzuwandeln, das auf jedem alten DVD-Player abspielbar ist, und dabei die Bildqualität so gut wie möglich zu erhalten.
Das Problem ist: x264 hat keine Dokumentation. Anders als x265, das einen Unternehmenssponsor hatte, der für ordentliche Dokumentation zahlen konnte, wurde x264 im Grunde von Mitgliedern des doom9-Forums durch Versuch und Irrtum entwickelt. Es gibt Hunderte obskurer Flags, und manche davon verhalten sich heute anders als vor 20 Jahren.
Ich hätte mich durch Dutzende 20 Jahre alte Threads auf doom9 wühlen können, um herauszufinden, was die einzelnen Flags tun, aber tatsächlich habe ich ein LLM gefragt, in diesem Fall Claude.
Claude war nicht perfekt und hat ein paar ffmpeg-Flags mit x264-Flags vermischt, aber zusammen mit klassischer Suche und etwas Trial-and-Error konnte ich die Aufgabe in etwa 30 Minuten erledigen. Die Qualität des Ergebnisses war ziemlich zufriedenstellend, und es lief auch auf einem sehr alten DVD-Player.
Vor LLMs hätte ich dafür keinen x264-Experten engagiert. Ich hätte ein paar Stunden mehr investiert oder, wahrscheinlicher, der 97-Jährige hätte den Tanz seiner Urenkelin nicht sehen können. Es hieß, das Video habe ihm ein breites Lächeln ins Gesicht gezaubert.
LLMs sind wie alles davor nur Werkzeuge. Sie sind nicht ihrem Wesen nach gut oder böse. Entscheidend ist, was wir tun und wie wir sie einsetzen.
Damals hätte man wohl Nero Burning ROM oder Handbrake benutzt. Die Qualität wäre vielleicht nicht bis zum gewünschten Niveau optimiert gewesen, aber für 97-jährige Augen wäre wahrscheinlich ein völlig brauchbares Video herausgekommen.
Haben wir Menschen das Internet mit KI so stark verschmutzt, dass es inzwischen kaum noch nutzbar ist?
Meiner Ansicht nach kann man das Internet als eine Art natürliche Umwelt wie die Erde betrachten. Es ist ein Raum, in dem Menschen teilen, sich begegnen und miteinander sprechen.
Es ist erstaunlich, dass wir erst die natürliche Umwelt verschmutzt haben und jetzt auch noch das Internet verschmutzen.
Der Großteil der von Menschen aufgezeichneten Informationen wurde digitalisiert, und ein großer Teil davon erzeugt mit enormer Geschwindigkeit nichtmenschliche Inhalte. Damit haben wir den Daten, die uns zur Verfügung stehen, gewaltiges Rauschen injiziert.
Ich weiß nicht, ob die Antwort mehr menschlicher Content oder neuer generierter Content ist, aber diese Übergangsphase wird mittelfristig Herausforderungen schaffen.
Ich würde gern glauben, dass die Zeit, in der bei LLMs mehr Tokens automatisch besser waren, zu Ende geht und wir uns dahin bewegen, vorhandene Daten besser zu nutzen. In Wirklichkeit stehen wir aber vor einem wichtigen Wendepunkt.
Aber das offene Internet ist im Grunde inzwischen nutzlos geworden, und die Grundursache ist das werbebasierte Geschäftsmodell.
Inzwischen scheint es ein Naturgesetz zu sein, dass jede neue Technologie zu SEO-Verstärkung führt. KI ist zum Degelman M34 Manure Spreader des Internets geworden: https://degelman.com/products/manure-spreaders
Für Autorinnen und Autoren, die bald ihre Arbeit verlieren oder sie bereits verloren haben und mit ihrer bisherigen Arbeit faktisch kaum noch beschäftigungsfähig sind, sollten die AI-Hyperscaler Geld zahlen, damit sie irgendetwas schreiben.
Es gibt nur eine Bedingung: Kein einziger Satz dieser Arbeit darf von KI erzeugt worden sein.
Zuerst wollte ich sagen: „Der Staat sollte dafür zahlen“, aber das wäre eine Sozialisierung der Verluste, und davon haben wir in der Vergangenheit schon genug erlebt.
Allerdings haben die meisten Autorinnen und Autoren nie vom Schreiben gelebt. Die Einstiegshürde fürs Schreiben ist zu niedrig, zu viele Menschen schreiben gern, und die meisten lesen kaum.
Das Finden des nächsten Tokens ist ein gelöstes Problem. Neues Denken können Menschen leisten, und bald vielleicht auch KI; aber mehr Müll in die Daten zu kippen, macht es nicht besser.