Auf der Suche nach dem am seltensten aufgerufenen Artikel auf Wikipedia (2022)
(colinmorris.github.io)- Wikipedia enthält nicht nur populäre Artikel mit Hunderttausenden bis Millionen Aufrufen pro Woche, sondern unter mehr als 6 Millionen Artikeln auch extrem unpopuläre Artikel, die pro Jahr nur einstellige Leserzahlen erreichen
- In einer Stichprobe von rund 32.000 Artikeln im Jahr 2021 fanden sich am unteren Ende viele Begriffsklärungsseiten; schließt man diese aus, bleiben kurze Stub-Artikel zu Motten- und Fliegenarten, iranischen Dörfern oder Nachnamen, die bei 7 bis 9 Aufrufen pro Jahr liegen
- Die Schaltfläche „Random article“ wählt Artikel nicht gleich wahrscheinlich aus, sondern abhängig vom random gap zwischen dem
page_random-Wert eines Artikels und dem unmittelbar davorliegenden Wert, wodurch manche Artikel deutlich seltener angezeigt werden als der Durchschnitt - Wird der Bereich auf 600.000 Artikel mit etwa einem Zehntel des durchschnittlichen gap oder weniger eingegrenzt, sind die am seltensten aufgerufenen Artikel 2021 Trichromia phaeocrota und Opharus corticea, die jeweils auf 3 vermutlich menschliche Aufrufe kommen
- Unter den letzten 500 Artikeln finden sich viele Insektentaxa, einige Gastropoden und Pilze, geografische Objekte sowie Set-Index-Seiten; Arten- und Siedlungsartikel bleiben wegen niedriger Relevanzhürden oft auch mit schwachen Quellen bestehen
Merkmale unpopulärer Artikel in der Stichprobe
- Wikipedia hat mehr als 6 Millionen Artikel, und populäre Seiten erhalten Hunderttausende bis Millionen Aufrufe pro Woche
- Umgekehrt gibt es auch Artikel, die kaum ein paar Mal pro Tag angesehen werden; Beispiele sind:
- Der am wenigsten populäre vom Autor erstellte Artikel ist Sunday reading periodical, ein Artikel über ein Magazingenre der viktorianischen Zeit, mit durchschnittlich etwa 12 Aufrufen pro Monat
- Wikipedias Pageview-Daten sind als Rohdump und über APIs öffentlich verfügbar, aber es gibt keine einfache Möglichkeit, direkt nach den am seltensten aufgerufenen Artikeln zu sortieren
Analyse einer Zufallsstichprobe von 32.000 Artikeln
- Für eine Stichprobe von etwa 32.000 Wikipedia-Artikeln wurden die Aufrufzahlen von 2021 gesammelt
- Der Median der jährlichen Aufrufe in der Stichprobe liegt etwas unter 1.000, der Durchschnitt wegen des langen Tails bei etwa 13.000
- In der Stichprobe gab es fast 100 Artikel mit insgesamt nur einstelligen Aufrufen im Jahr 2021
- Allerdings waren die letzten 50 allesamt Begriffsklärungsseiten, die in der Analyse nicht als „echte Artikel“ gewertet werden
- Ohne Begriffsklärungsseiten verengt sich der Bereich der Artikel mit einstelligen Jahresaufrufen auf wenige kleine Stub-Artikel im Bereich von 7 bis 9 Aufrufen pro Jahr
- Erygia sigillata: Mottenart
- Hilarigona obscurata: Fliegenart
- Loxocrambus hospition: Motte
- Makhoshin: iranisches Dorf
- Bojerud: Nachname
- Scrobipalpula crustaria: Motte
Die Schaltfläche „Random article“ und das random gap
- Die extrem niedrigen Aufrufzahlen könnten dadurch entstehen, dass Nutzer über die Schaltfläche Random article auf die Seiten gelangen
- Seit 2015 ist die Random-article-Funktion so implementiert, dass Begriffsklärungsseiten ignoriert werden, was erklären könnte, warum diese in der Stichprobe bei den niedrigsten Aufrufzahlen gehäuft auftreten
- Beim Anlegen eines Wikipedia-Artikels wird ihm ein Zufallswert zwischen 0 und 1 zugewiesen:
page_random - Wenn eine Random-article-Anfrage eingeht, erzeugt der Server eine Zufallszahl zwischen 0 und 1 und liefert den Artikel mit dem nächstgrößeren
page_random-Wert zurück - Dieses Verfahren ist nicht völlig fair
- Die Auswahlwahrscheinlichkeit eines Artikels entspricht der Größe seines random gap, also der Differenz zwischen seinem
page_random-Wert und dem Wert des unmittelbar vorhergehenden Artikels - Artikel mit kleinem gap haben entsprechend eine geringere Chance, über Random article ausgewählt zu werden
- Die Auswahlwahrscheinlichkeit eines Artikels entspricht der Größe seines random gap, also der Differenz zwischen seinem
Zusammenhang zwischen Aufrufminimum und random gap
- Bei rund 6 Millionen Wikipedia-Artikeln liegt das durchschnittliche random gap bei etwa
1/6,000,000, also1.67e-7 - Der
page_random-Wert von Erygia sigillata, dem am seltensten aufgerufenen Artikel der Stichprobe, ist0.500764585777, der des unmittelbar davorliegenden Artikels Katherine Hanley0.500764582314 - Die Differenz zwischen beiden Werten beträgt etwa
3e-9, ist damit 98 % kleiner als das durchschnittliche random gap und macht den Artikel bei Random article 50-mal unwahrscheinlicher als einen durchschnittlichen Artikel - Auch die random gaps der fünf anderen Artikel mit einstelligen Jahresaufrufen liegen bei
3e-9,9e-9,8e-9,4e-9,8e-9,2e-8und sind damit alle ungefähr eine Größenordnung kleiner als der Durchschnitt - In der gesamten Stichprobe von 32.000 Artikeln zeigt sich kein klarer Zusammenhang zwischen random gap und Aufrufen
- Bei Artikeln mit weniger als 200 Aufrufen pro Jahr oder in Sammlungen mit ohnehin geringem Interesse wie den rund 1.500 Artikeln in Category:Phaegopterina stubs wird der Zusammenhang jedoch deutlicher
Die am seltensten aufgerufenen Artikel des Jahres 2021
- Die am seltensten aufgerufenen Artikel müssen nicht nur Themen mit geringem öffentlichen Interesse sein, sondern auch ein sehr kleines random gap haben
- Dafür wurde die Analyse auf Artikel mit einem gap von höchstens
1.7e-8beschränkt, also etwa einem Zehntel des durchschnittlichen gap, und damit auf 600.000 der „unglücklichsten“ Artikel eingegrenzt - Auch diese 600.000 Artikel wurden 2021 alle mindestens einige Male aufgerufen
- Den ersten Platz bei den am seltensten aufgerufenen Artikeln 2021 teilen sich zwei Seiten mit jeweils 3 vermutlich menschlichen Aufrufen
- Trichromia phaeocrota: random gap
4e-9 - Opharus corticea: random gap
1e-9
- Trichromia phaeocrota: random gap
- Beide Artikel handeln von Mottenarten
Wiederkehrende Muster unter den letzten 500 Artikeln
- Die Liste der letzten 500 Artikel ist unter Least viewed articles in 2021 einsehbar
- Die Themenverteilung ist sehr konsistent
- Ein großer Teil sind Artikel über Insektenarten oder andere Insektentaxa
- Enthalten sind auch 17 Gastropoden und ein Pilz namens Harknessiella
- Die zweithäufigste Kategorie sind geografische Objekte, besonders Dörfer im Iran und in Sri Lanka
- Dazu kommen kurze geografische Artikel wie Kälberbuckel
- Eine weitere wiederkehrende Kategorie sind Set-Index-Seiten
- Ein Set-Index-Artikel sieht einer Begriffsklärungsseite ähnlich und funktioniert ähnlich, gilt in der Wikipedia-Klassifikation aber nicht als Begriffsklärungsseite
- Es gibt auch einige wenige Artikel wie DMZ//38 oder EuroNanoForum 2009, die an die früher lockereren Relevanzkriterien der Wikipedia erinnern
Warum es so viele Motten gibt
- Wikipedia wendet auf Themen wie lebende Personen, Unternehmen oder Bands strenge Anforderungen an die Quellenlage an
- Solche Themen können für Bearbeitungen mit Werbe-, Interessen- oder Konfliktmotiven missbraucht werden; daher reicht eine bloße Prüfung anhand von Primärquellen nicht aus, sondern es braucht substanzielle Berichterstattung aus mehreren unabhängigen Sekundärquellen
- Themen, die diese Anforderungen erfüllen, haben deshalb wahrscheinlich auch außerhalb von Random-article-Nutzern ein gewisses Publikum und tauchen unter den letzten 500 fast nie auf
- Dagegen werden Artenartikel und Siedlungsartikel im Allgemeinen nicht gelöscht
- Sie bleiben oft bestehen, auch wenn das Thema nur schwach belegt ist
- Viele der niedrig platzierten Artikel stützen sich auf nur eine Quelle wie eine Datenbank, ein Ortsverzeichnis oder eine kurze Erwähnung in einem Buch oder Fachjournal
- Wegen dieser niedrigen Hürden wirken manche Artikel wie mechanisch erzeugte Stub-Seiten
- Pottallinda ist ein Stub mit 12 Wörtern und wurde 2021 fünfmal aufgerufen
- Er wurde am 18. Januar 2011 von User:Ser Amantio di Nicolao erstellt; innerhalb von 60 Sekunden legte derselbe Nutzer auch zahlreiche ähnliche Artikel an, darunter Polmalagama, Polommana, Polpitiya und Polwatta
- Solche extrem kleinen und unpopulären Artikel mögen Nutzer von Random article enttäuschen, können aber später als Grundlage dienen, die von anderen Bearbeitern ausgebaut wird
Daten und Code
- Die Pageview-Daten sowie der Code zum Scrapen und Analysieren sind im GitHub-Repository wiki-pageview-floor veröffentlicht
1 Kommentare
Meinungen auf Hacker News
Der Grund, warum so etwas auf Wikipedia passiert, ist nicht Monetarisierung oder eine kontroverse Perspektive, sondern dass bei Löschentscheidungen am häufigsten die Relevanzkriterien herangezogen werden, die sich aus Art und Qualität der zitierten Quellen ergeben.
Früher gab es die Richtlinie, dass Personen, die im Sport auf internationalem Niveau angetreten sind, im Allgemeinen als relevant gelten. Daher konnte selbst ein Fußballspieler, der nur ein einziges Länderspiel bestritten hatte, mit schwachen Quellen einer Löschung entgehen.
Als diese Richtlinie jedoch verschwand und man zur allgemeinen Relevanzrichtlinie (GNG) zurückkehrte, wurden für Personen erhebliche biografische Berichte in landesweit verlässlichen Mainstream-Medien erforderlich; Spielberichte, lokale Interviews und Fan-Medien werden meist ausgeschlossen.
In der Folge erfüllten Hunderte von Stub-Artikeln und Dutzende regulärer Artikel über internationale Fußballspielerinnen die GNG nicht, selbst wenn es um Weltmeisterinnen ging, weil die Berichterstattung in Mainstream-Medien vergleichsweise spärlich war. Als ein Editor diesen Sommer nach Beginn der Frauen-WM solche Artikel massenhaft zur Löschung vorschlug, wurden fast alle gelöscht.
Der Grund, warum Artikel über Motten oder Orte bestehen bleiben, ist also nicht Monetarisierung oder Kontroversität, sondern dass für Dinge und Orte, die Wikipedia-Editoren nicht wegen Verleumdung verklagen können, völlig andere Relevanzkriterien gelten.
https://en.wikipedia.org/wiki/Wikipedia:WikiProject_U.S._Roads/Newsletter/Issues/Volume10/Issue01
Da es Berichte von Polygon und Kotaku gab, hielt ich das für ausreichend, aber anfangs war es eine schwierige Aufgabe.
Ist jemand, der extrem schnell Tasten drückt, wirklich eine relevante Person?
Es dürfte unzählige Wikipedia-Artikel über Menschen mit verschiedenen Rollen und Positionen in Technik, Wissenschaft, Kommunalpolitik usw. geben, die dieses Kriterium nicht erfüllen würden.
Ich erinnere mich noch, wie absurd ich es fand, dass selbst ein ziemlich populärer Webcomic keinen Wiki-Artikel haben konnte.
Eine der besten wenig bekannten Funktionen von Wikipedia sind meiner Meinung nach die eingeklappten Navigationsboxen am Ende jedes Artikels.
Sie eignen sich hervorragend, um komplexe Themen aus der Vogelperspektive zu betrachten und zu sehen, wo ein Eintrag in einer komplexen Hierarchie einzuordnen ist.
Manche davon wirken wie kleine Kunstwerke, die ich mir eines Tages an die Wand hängen möchte.
https://imgur.com/gallery/ILp6TtA
Ich verstehe, warum sie standardmäßig eingeklappt sein müssen, aber per userjs verschiebe ich sie an den Seitenanfang, klappe sie aus und nutze sie zur Navigation.
Damit sie nicht zu viel Platz einnehmen, habe ich CSS
zoomauf 0.3 gesetzt.Die Art und Weise, wie zufällige Artikel ausgewählt werden, ist schockierend
Dadurch entsteht eine dauerhafte Verzerrung der Randomisierung, und zwangsläufig eine starke Pfadabhängigkeit darin, wie sich die Auswahlwahrscheinlichkeit einzelner Artikel im Laufe der Zeit verändert
Eine zufällige ganze Zahl von 1 bis N zu ziehen, ist keine Raketenwissenschaft
Man fragt sich sogar, ob es vielleicht eine absichtliche Gewichtung gibt, etwa indem vor bestimmten bevorzugten Artikeln Lücken gelassen werden, damit sie häufiger erscheinen
MySQL ist nicht wirklich dafür gebaut, performant eine echte Zufallszeile auszuwählen
Naive Ansätze wie
ORDER BY RAND() LIMIT 1haben katastrophale Performance, undLIMIT 0 OFFSET RAND() * row_countist ähnlich schlechtWenn man eine performante Methode wie
WHERE id >= RAND() * max_id ORDER BY id LIMIT 1verwendet, entsteht wegen der durch gelöschte Artikel verursachten ID-Lücken dasselbe Problem, dass bestimmte Artikel häufiger gezogen werdenEs gibt nur zwei korrekte Lösungen: eine zufällige ID ziehen und erneut versuchen, wenn sie ungültig ist, oder eine separate Spalte/Tabelle pflegen, die alle gültigen Artikel als fortlaufende Ganzzahlfolge enthält
Ersteres kann je nachdem, wie dünn die IDs besetzt sind, gelegentlich 20 Wiederholungen brauchen, wodurch die Performance schwer vorherzusagen ist; Letzteres erfordert beim Löschen eines Artikels im Schnitt, die Hälfte der Ganzzahlspalte neu zu berechnen und neu zu schreiben
Am Ende ist der Wikipedia-Ansatz für etwas, das eher eine Spielzeugfunktion ist, „gut genug“, und man kann die Nachteile reduzieren, indem man die Zufallszahlen täglich oder wöchentlich per Batch-Job oder bei jeder Artikelbearbeitung neu berechnet
Man könnte ihn auch stark verbessern, indem man beim bestehenden Ansatz nicht nur den nächstgelegenen Artikel auswählt, sondern etwa 50 davor und danach nimmt und dann aus diesen 100 erneut zufällig auswählt
Das ist ein kompletter Hack, wäre in der Praxis aber immer noch sehr schnell
Wenn man eine zufällige ganze Zahl von 1 bis N zieht, besteht eine Chance auf ein schlechtes Ergebnis
Bei Spam ist es nicht unwahrscheinlich, dass es mehr schlechte als gute Seiten gibt, dann müsste man mehrfach neu ziehen
Neu auszulosen halte ich für eine brauchbare Strategie, aber ich glaube nicht, dass alle dieser Wahrscheinlichkeit einfach vertrauen würden
Wenn man tatsächlich ein Wiki mit 99 schlechten Seiten und 1 guten Seite baut, würde der Zufallsartikel-Button meistens nicht funktionieren
Man könnte auch auf Basis der Zahl M gültiger Artikel von 1 bis M ziehen, aber dann bleibt dasselbe Problem, wie man diese Zahl auf die tatsächliche Artikel-ID abbildet
Diese Methode kann verzerrt sein, hat aber Performance in konstanter Zeit
Persönlich fände ich es besser, alle gültigen Artikel im Speicher zu halten und daraus einen auszuwählen
Stand Oktober sind es nur 7 Millionen, und selbst inklusive gelöschter Artikel vermutlich etwa 70 Millionen, also eine ähnliche Größenordnung wie die Gesamtzahl der HN-Einträge
Selbst wenn man auf der Festplatte für jeden gültigen Artikel eine Datei anlegt und mit
find . -type f | shuf -n 1zufällig sucht und das Ergebnis alle paar Sekunden cached, wäre das wohl nicht allzu schlecht, auch wenn es ebenfalls eine eigene Verzerrung hätteDa es eine reine Spaßfunktion ist, ist es nicht so schlimm, wenn die Gewichtungen nicht gleich sind, und MariaDB soll bei
ORDER BY RAND() LIMIT 1einen vollständigen Table Scan machenDer Remote-Cache ist datacenter-lokal, durch persistenten Storage abgesichert und kann eine lange TTL haben
Während der Cache-TTL könnte man wiederhergestellte Artikel nicht ziehen, aber das ist in Ordnung
Datacenter-Lokalität sorgt in gewissem Maß für Fehlertoleranz und niedrige Latenz, und persistenter Storage verringert das Cold-Cache-Problem bei Neustarts
Der maximale Watermark des ID-Bereichs kann asynchron aktualisiert werden, und es ist in Ordnung, wenn neue Artikel kurz nicht sichtbar sind
Wie sich herausstellte, war es nur Zufall
Die aktuelle Implementierung sorgt dafür, dass sich die Gewichtungen mit wachsender Artikelzahl ungefähr angleichen, und einzelne Nutzer bekommen ohnehin nur einen zufälligen Artikel und interessieren sich wahrscheinlich kaum für Fairness; insofern ergibt es Sinn
Es ist wirklich erstaunlich, dass man Informationen wie über eine gewöhnliche peruanische Motte, irgendein kleines Dorf im Iran oder Sonntagslektüre aus dem viktorianischen England an einem Ort finden kann
Vor dem Internet wäre so etwas nicht einmal die Papierkosten wert gewesen, um es zu drucken; heute sind Cloud-Speicherkosten praktisch nahe null, und dadurch bekommen wir enorm wertvolle Long-Tail-Informationen
Dank an die Menschen, die solche Inhalte beitragen und pflegen
Außerdem fände ich es großartig, wenn man auf einer Seite eine Notiz hinterlassen könnte wie: „Ich habe diese Seite besucht und möchte mit anderen in Kontakt treten, die sich für die peruanische Foovius-Barivius-Motte interessieren“
https://gwern.net/inclusionism
Zum Beispiel könnte es einen TikTok-artigen vertikalen Feed geben, der Artikel findet, die Nutzer am längsten anschauen würden, und WikiScroll geht bereits ein Stück weit in diese Richtung
Man könnte an jeden Artikel einen Chatraum hängen, damit Leute sich unterhalten, oder eine DM-Funktion einbauen, mit der man aber nur Wikipedia-Links verschicken kann
Die Idee von Wikipedia als sozialem Katalysator ist sehr spannend
https://wikiscroll.blankenship.io/
Wenn man auf einer Seite eine Notiz hinterlässt, können andere, die dieselbe Erweiterung installiert haben, sie sehen, und mit etwas Glück wird man vielleicht kontaktiert
Meiner Meinung nach ist sie der beste Teil des Internets
Man kann mathematisch beweisen, dass es auf Wikipedia keinen einzigen uninteressanten Artikel gibt
Der Beweis gelingt per Widerspruchsbeweis
Wenn man alle Artikel nach Interessantheitsgrad bewertet und sortiert und sich den niedrigsten Wert ansieht, muss es zwangsläufig einen uninteressantesten Artikel geben
Aber schon die Tatsache, dass dieser Artikel der uninteressanteste Artikel der gesamten Wikipedia ist, macht ihn interessant
Genauso dürften die im Blogpost genannten Artikel mit den niedrigsten Aufrufzahlen inzwischen wohl ihren Status verloren haben
Er scheint davon auszugehen, dass es genau einen uninteressantesten Artikel gibt
Es könnte aber Hunderte von Artikeln mit demselben niedrigsten Interessantheitsgrad geben, und dann müsste man diese Hunderte als uninteressante Artikel betrachten
Dabei muss man auch noch das Interesse berücksichtigen, das daraus entsteht, der zweituninteressanteste Artikel zu sein
Wahrscheinlich stimmt es, also QED
Solange niemand den uninteressantesten Artikel gefunden und darüber nachgedacht hat, ist dieser Artikel nicht interessant
Mathematische Eigenschaften sind ewig und existieren unabhängig davon, ob jemand sie betrachtet oder nicht
Das erinnert mich an Geoff Marshalls Reihe über die Least Used Stations von Network Rail in Großbritannien
https://www.youtube.com/playlist?list=PLt4q5oaptyI9U2zddss8dm8srzuJj6nRz
https://www.youtube.com/@geofftech2
Wikipedia-Administratoren sind ziemlich aktiv darin, Artikel zu löschen, die sie für unwichtig halten, daher dürfte sich der Artikel mit den niedrigsten Aufrufzahlen recht häufig ändern
Möglicherweise waren auch Spielchen aus Richtung der Nachrichtendienste im Spiel
Eine sehr gute Methode, unbequeme historische Tatsachen zu tilgen
Inzwischen ist es nur noch eine lustige kleine Geschichte über ein Rootkit, ganz ohne konkrete politische Verschwörung
Zum Beispiel dürfte es schwierig sein, in den USA Städte, Towns, Villages oder kleine Siedlungen zu finden, die keinen Wikipedia-Artikel haben
Bei Jack Wade, Alaska sieht man auf Google Maps vielleicht etwa acht Häuser, und trotzdem gibt es einen Wikipedia-Artikel dazu
Ich glaube auch nicht, dass Artikel über seltene Mottenarten gelöscht werden
Allerdings braucht es irgendeine Richtlinie, damit nicht jede einzelne Person auf der Erde einen Wikipedia-Artikel bekommt
Google Maps: https://www.google.com/maps/place/Jack+Wade,+AK+99732/@64.1519419,-141.4630071,448a,35y,3.16t/data=!3m1!1e3!4m6!3m5!1s0x5149e998873be075:0x2f1a9ca47f03bf1b!8m2!3d64.1526072!4d-141.4604683!16s%2Fm%2F0480bm5?entry=ttu
Wikipedia: https://en.wikipedia.org/wiki/Jack_Wade,_Alaska
Eine Ausnahme könnte allerdings Vandalismus sein, der durch die Bekanntmachung dieses besonderen Status entsteht
Für Interessierte als kleiner Hinweis: Es kann ein Nebenprodukt des vom Autor verwendeten Datensatzes sein, aber eine Gemeinsamkeit der am wenigsten aufgerufenen Artikel ist, dass ihre Themen in Kategorien fallen, die nach den Wikipedia-Inhaltsrichtlinien normalerweise nicht zur Löschung vorgesehen sind
Der Autor meinte, ein Mottenartikel biete wohl kaum Gelegenheit, eine kontroverse Sichtweise durchzudrücken, aber in der Bearbeitungshistorie gab es Anfang dieses Jahres eine Meinungsverschiedenheit über die Flügelspannweite von Scrobipalpula crustaria
11–13 mm oder 10–13 mm?
Bei solchen Dingen entwickeln Leute starke Gefühle
Wenn man den Namen des am wenigsten aufgerufenen Wikipedia-Artikels findet und veröffentlicht, steigen dessen Aufrufzahlen, und damit verschwindet der ursprüngliche Grund, aus dem man ihn gefunden hat
https://en.m.wikipedia.org/wiki/Observer_effect_(physics)
Ist das ein Problem?
Fairerweise muss man sagen, dass ein Datensatz von 2021 analysiert wurde, der davon natürlich nicht beeinflusst wird
Selbst wenn man eines findet, zerstört man es in dem Moment, in dem man seine Existenz bekannt macht
Siehe
quizzaciouslyAuch wenn es mehr als sechs Millionen Artikel sind: 6.0e6 ist schon seit Jahrzehnten eine Zahl, die man per Brute Force bewältigen kann
Eine lineare Suche hätte womöglich weniger Zeit gekostet, als den Artikel zu lesen, und ziemlich sicher weniger Zeit, als ihn zu schreiben
Natürlich wäre das nicht annähernd so unterhaltsam oder clever gewesen, aber gutes Engineering ist fast immer genau so