In Echtzeit von der Hacker-News-Startseite entfernte Artikel
(github.com/vitoplantamura)- HackerNewsRemovals ist ein Projekt, das Stories erfasst, die von der Front Page von Hacker News verschwinden, um Art und Umfang von von außen beobachtbaren Eingriffen auf der Startseite zu verstehen
- Der Dienst ruft jede Minute über die offizielle HN API die Top 90 Stories ab und protokolliert Stories, die im Vergleich zu den Top 30 der vorangegangenen Minute herausgefallen sind
- Die zentrale Annahme ist, dass es unwahrscheinlich ist, dass eine Story innerhalb von 1 Minute von den Top 30 auf außerhalb der Top 90 fällt, und dass sie in so einem Fall möglicherweise ausdrücklich entfernt wurde
- Ob es sich um doppelte Stories handelt, kann nicht automatisch festgestellt werden; Duplikate können jedoch ein nachvollziehbarer Grund für eine Entfernung sein, weshalb man die Liste immer darauf prüfen sollte
- Das Log wird mit bis zu 1 Minute Verzögerung aktualisiert; wenn eine Story erneut auf der Front Page erscheint, wird sie aus der Liste entfernt; Stories im second-chance pool sind ausgeschlossen
Ziel des Projekts und Problemverständnis
- HackerNewsRemovals ist ein Projekt, um zu verstehen, in welchem Umfang und in welcher Form Anpassungen der Hacker-News-Front-Page stattfinden
- Von außen beobachtbare Eingriffe auf der Front Page lassen sich nach dieser Sicht grob in zwei Typen einteilen
- Änderungen an Story-Titeln: können den Ranganstieg freiwillig oder unfreiwillig beeinflussen
- Direktes Entfernen von der Front Page
- Das Nachverfolgen von Titeländerungen gibt es bereits unter hackernewstitles.netlify.app, daher konzentriert sich dieses Projekt auf entfernte Stories
- Ursprünglich war es eine kleine Anwendung für den Eigengebrauch, wurde aber als öffentliches Repository veröffentlicht, weil kein Tool und keine Website mit derselben Art von Informationen gefunden werden konnte
- Falls es ein ähnliches Tool oder eine ähnliche Website gibt, könnte das Repository archiviert oder wieder privat gemacht werden
Update vom Februar 2024 und Hinweise
- Mit dem Update vom 4. Februar 2024 wurde ein Link zur Hacker-News-Diskussion über dieses Projekt hinzugefügt
- Diskussion: HN discussion
- Kommentar von @dang zur zentralen Annahme: @dang comment
- Die Zahl der am Samstag, dem 3. Februar 2024, entfernten Stories war die niedrigste, die der Dienst je erfasst hat; darin waren 2 doppelte Stories enthalten
- Beim Betrachten der Liste sollte immer geprüft werden, ob eine Story ein Duplikat ist
- Duplikate können ein nachvollziehbarer Grund für eine Entfernung sein
- Der Dienst hat keine Möglichkeit, Duplikate automatisch zu erkennen
Funktionsweise
- Der Dienst verwendet die offizielle HN API und ruft jede Minute die Top 90 Stories ab
- Verglichen werden die Top 30 der vorangegangenen Minute, also die Front Page, mit den aktuellen Daten
- Wenn eine Story, die zuvor auf der Front Page war, nicht mehr in den aktuellen Top 90 Stories auftaucht, wird sie im Log vermerkt
- Dieses Verfahren basiert auf der Annahme, dass eine Story nicht innerhalb von 1 Minute auf natürliche Weise von den Top 30 auf außerhalb der Top 90 fallen kann
- Erscheint eine Story erneut auf der Front Page, wird der entsprechende Eintrag aus dem Log entfernt
- Stories im second-chance pool werden vom Log ausgeschlossen
Erfasste Daten
- Titel und URL verwenden die Werte aus dem Moment, als die Story erstmals in den Top 30 erschien
- Score, Kommentarzahl und Rang verwenden die Werte aus dem Zeitpunkt, als die Story von der Front Page entfernt wurde
- Jede Story-ID verlinkt auf eine Seite bei news.social-protocols.org
- Diese Seite zeigt ein Diagramm des Front-Page-Rangs im Zeitverlauf
- Die Liste wird in Echtzeit aktualisiert, mit einer maximalen Verzögerung von 1 Minute
Form der öffentlichen Liste
- Im README folgt eine fortlaufende Liste der nach Datum entfernten Stories
- Jeder Eintrag kann die HN-ID, den Rang zum Zeitpunkt der Entfernung, den Score, die Zahl der Kommentare, den Story-Titel und den Original-Link enthalten
- Als Beispiel sind Einträge vom 22. bis 27. Juni 2026 nach Datum aufgelistet
- Bei einigen Einträgen werden Score oder Kommentarzahl nicht angezeigt; dort erscheinen nur Rang und Titel
- Bei der Interpretation der Liste sollte auf Duplikate geprüft werden; der Dienst selbst automatisiert die Erkennung von Duplikaten nicht
Anlass für das Projekt
- Auslöser war ein Fall mit zwei OnnxStream-bezogenen Stories, die nach ihrer Einreichung bei Hacker News auf unterschiedliche Weise auf der Front Page beeinflusst wurden
- Beim ersten Eintrag wurde der Titel von „Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes“ in „OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2“ geändert, worauf Nutzer hinwiesen, dass der neue Titel die Aussage der Story nicht widerspiegele
- Die zweite Story stand weniger als eine Stunde nach der Einreichung bereits auf Platz 3 der Front Page, wurde danach jedoch von der Front Page entfernt
- @dang antwortete, dass diese Story von Nutzern geflaggt worden sei, auch wenn kein ausdrücklicher Flag-Hinweis sichtbar gewesen sei, und dass sich über den Grund des Flaggens nur spekulieren lasse
- Auf Basis dieser Erfahrung wurde zunächst eine kleine Konsolenanwendung gebaut, um zu prüfen, wie häufig dieses Phänomen auftritt; später wurde sie veröffentlicht, weil kein öffentliches Tool gefunden wurde, das dasselbe Phänomen beobachtet
1 Kommentare
Hacker-News-Meinungen
Wenn ich mir die Liste der gelöschten Beiträge ansehe, bin ich mit der Moderation hier ziemlich zufrieden.
Sie waren alle reißerisch, kamen einer Werbung für ein bestimmtes Unternehmen nahe, hatten Clickbait-Titel, waren stark off-topic oder eine Kombination davon; persönlich gab es keinen Beitrag, von dem ich das Gefühl hatte, er hätte nicht gelöscht werden sollen.
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
Beim letzten Beitrag könnte man den Titel weniger übertrieben formulieren, aber der Inhalt selbst war ein interessanter Meinungsbeitrag. Es wirkt eher so, als liege das an False Positives des Spamfilters, Flagging-Kampagnen oder Mechanismen gegen Empfehlungsmanipulation, als dass das direkt von Moderatoren gemacht wurde.
Das war alles, was man über die Moderation dieser Site wissen musste. Zum Glück hat jemand einen Screenshot gemacht: https://merveilles.town/@cancel/111834048502040552
Wirklich? Ein NASA-Bericht auf einer offiziellen .gov-Site? Die Kommentare mögen chaotisch gewesen sein, aber das wirkt ziemlich zentral wie ein Thema, das HN interessieren dürfte.
Es ist ziemlich offensichtlich, dass ein Online-Forum gute Moderation braucht, um langfristig gesund zu bleiben. HN hat sich gut gehalten dank einer starken Community mit Upvotes/Downvotes und einem Moderationsteam, das meistens leicht eingreift, aber bei Bedarf auch Nein sagen kann.
Der Autor ist vielleicht von Misstrauen ausgegangen, aber am Ende funktioniert es wie ein ziemlich guter Transparenzbericht.
Die Annahme „Ein Beitrag kann nicht innerhalb einer Minute aus den Top 30 auf unter Platz 90 fallen, also muss er explizit entfernt worden sein“ ist falsch.
Der Flamewar-Detector, also ein Detektor für überhitzte Diskussionen, und Nutzer-Flags können genau so etwas bewirken; es gibt auch andere Softwaremechanismen. Wenn ein Beitrag zum Beispiel mehr als 18 Stunden auf der Startseite war, wird seine Gewichtung automatisch abgesenkt, sofern er nicht manuell als Ausnahme behandelt wird. Außerdem beeinflussen Nutzer-Flags das Ranking eines Beitrags schon lange bevor die Markierung
[flagged]erscheint.Nehmen wir an, jemand abonniert einen Echtzeit-Feed der HN-Einreichungen, flaggt Beiträge, die er nicht sehen will, und bittet Freunde, dasselbe zu tun. Gibt es Schutzmechanismen, die verhindern, dass ein solches Verhalten unfairen Einfluss darauf hat, was bestimmte Leute überhaupt zu sehen bekommen und was nicht?
[flagged]erscheint: Welche Arten von Nutzer-Flags gibt es, und warum sind sie nicht öffentlich?Die Leute sollten das wissen. Shadowbanning gehört in die 2010er.
Es ist kein Problem, wenn Nutzer so etwas bauen. Die Prinzipien, nach denen HN funktioniert, lassen sich ausreichend leicht erklären und verteidigen. Allerdings ist etwas so Komplexes zwangsläufig unordentlich; um es korrekt zu verstehen, braucht man daher eine hohe Toleranz für Unordnung.
Ungenauigkeiten wie der hier erwähnte Fehler sollte man aber korrigieren: https://news.ycombinator.com/item?id=39231537. Robin89, kannst du den Text korrigieren? Ich weiß, dass es eine gutgläubige falsche Annahme war, aber sie ist sehr falsch.
Außerdem wäre es einfacher, Fragen hier zu beantworten, wenn die HN-IDs auf der Seite auf die tatsächlichen HN-Threads verlinken würden. Derzeit verlinken sie auf social-protocols.org. Natürlich steht es dir frei, wohin du verlinkst, aber so ist es schwierig, die Fragen hier nachzuverfolgen. Jeder kommt mit einer Liste à la „Was ist mit den Beiträgen X, Y, Z passiert, und was ist mit W, V, J?“, und grundsätzlich würde ich sie alle gern beantworten, aber es gibt physische Grenzen dafür, wie viel man tatsächlich abarbeiten kann.
In den nächsten Stunden bin ich größtenteils in Meetings; falls ich in diesem Thread nicht untergehe, versuche ich später, Fragen zu beantworten.
Solche Unnatürlichkeit und Intransparenz lassen Nutzer empfinden, dass das Ranking willkürlich und unfair ist, selbst wenn es gute Gründe dafür gibt. Könnte man bei jedem Beitrag anzeigen, ob am Ranking oder an anderen Listen etwas manipuliert wurde? Zum Beispiel ließe sich ein Zurücksetzen der Einreichungszeit vermutlich leicht anzeigen.
Man kann sagen, dass Gewichtungen abgesenkt werden, aber was wir fragen, ist: Wir möchten sehen, wo Gewichtungen abgesenkt werden.
Es hieß, es sei schwer zu glauben, dass HN-Nutzer von LLM-bezogenen Nachrichten genug haben; ich habe genug davon, also kann man es ruhig glauben
Ich melde sie allerdings nicht, nur weil ich genug davon habe
An diesen Satz denke ich oft, wenn ich über Moderation nachdenke. Menschen neigen dazu anzunehmen, dass alle in einer Community ihnen ähnlich sind, und praktisch nur Moderatoren bekommen ein Gefühl dafür, wie übersättigt ein bestimmtes Thema ist. Deshalb mag ich auch das Meme von der bedingungslosen Meinungsfreiheit nicht besonders, das jedes Mal auftaucht, wenn
$corporation$person_i_likesperrt. Jede Community braucht Moderation, und wenn sie gut funktioniert, sieht es so aus, als würde gar nichts passieren — ein Job, für den man schwer Dank bekommtDie kollektive Intelligenz wird Wiederholungen sehr schnell leid [2]. Entscheidend ist, die Spreu vom Weizen zu trennen: Weizen sind hier Beiträge, die wichtige neue Informationen bringen [3], Spreu sind die ungeheuer vielen Folge- und Nachahmerbeiträge [4]
Wichtig ist, dass die Meinungen zu diesem Problem ein sehr breites Spektrum abdecken. Wenn man sich einen Schieberegler mit den Extremen „keine Beiträge zu
$TOPICzulassen“ und „alle Beiträge zu$TOPICzulassen“ vorstellt, würde fast jeder Nutzer ihn an eine andere Stelle setzen. Das gilt für jedes Thema, besonders aber für die größtenPlatz auf der Startseite ist die knappste Ressource auf HN [5], und jeder Leser hat dort eine andere „Signatur“ von Vorlieben dafür, was er sehen oder nicht sehen möchte. Deshalb ist es nicht nur unmöglich, alle zufriedenzustellen, sondern auch unmöglich, irgendjemanden vollkommen zufriedenzustellen. Niemand passt perfekt zur Startseite, und auch wenn jetzt vielleicht jemand schnell widersprechen will: Natürlich passt sie auch nicht perfekt zu den Vorlieben der Moderatoren
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
An solchen Themen habe ich bis zu einem gewissen Grad auch Interesse, aber die meisten Beiträge bringen nichts Neues, sondern sind nur reaktive Texte zu einem jüngsten Verstoß
Wenn mehr LLM-bezogene Nachrichten gebraucht werden, scheint die Antwort zu sein, eine LLM-News-Website aufzubauen und eine Community darum wachsen zu lassen
Ich mag HN wirklich sehr, aber weil ich mehr Retro-Computing- und Gaming-News wollte, habe ich mit dem HN-Quellcode meine eigene Seite (https://twostopbits.com/) gebaut. Das ist nicht schwer. Man baut, was man will, und moderiert es selbst
Ich war über 35 Jahre in verschiedenen Online-Communities, und die mit Abstand am besten moderierte und langfristig erfolgreich betriebene Community ist HN. Eine Zeit lang war auch The Well großartig
Ich frage mich, ob eine Community mit wenig Traffic tatsächlich den Content-Mix liefert, den man sich beim Start erhofft hat
Überraschenderweise stimmt das: Auch wir haben von LLM-bezogenen Nachrichten genug
Werden die meisten dieser Beiträge nicht durch Meldungen von Nutzern entfernt?
Keine rhetorische Frage. In diesem Thread gibt es viele Kommentare, die den „Moderatoren“ danken, aber ich wusste nicht, dass es ein Moderationsteam gibt, das die Frontpage pflegt. Kann das jemand bestätigen?
„Nicht wir haben den Beitrag gemeldet, sondern Nutzer. Bei Einreichungen ist das fast immer so. Siehe https://news.ycombinator.com/newsfaq.html“
https://news.ycombinator.com/item?id=39169622
Es gibt dang, den einzelnen Admin, der öffentlich schreibt, und möglicherweise andere HN-Admins, die ihn unterstützen. Aber wenn Leute über „Moderatoren“, „machtbesessene Moderatoren“ oder „Zensur“ klagen, bedeutet das in 99,9 % der Fälle eher: Andere Nutzer haben gesehen, was du gesagt hast, und wir wollten es hier einfach nicht sehen.
Es ist auch seltsam, dass Leute manchmal glauben, es gebe irgendwelche „Regeln“ dafür, was man melden darf. Es gibt natürlich Richtlinien, aber da diese Befugnis jeder normale Nutzer hat, wird sie letztlich so verwendet, wie jeder sie für sinnvoll hält. Ich zum Beispiel melde oft Beiträge, bei denen ich Thema und Beitrag an sich völlig legitim finde, die aber jedes Mal, wenn das Thema auf HN diskutiert wird, zu nutzlosen Flamewars werden oder mit Kommentaren niedrigster Qualität gefüllt sind. Zumindest für mich ist eine Meldung kein Urteil über den „Wert“ eines Beitrags, sondern nur darüber, was ich auf HN nicht sehen möchte.
https://news.ycombinator.com/item?id=39231055
Wenn man Fälle betrachtet, in denen der Titel von „Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes“ zu „OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2“ geändert wurde und der Beitrag dadurch praktisch gestorben ist, oder in denen ein Beitrag, der weniger als eine Stunde nach der Einreichung auf Platz 3 der Frontpage stand, einfach von der Frontpage verschwand: Wenn solche Beiträge wiederholt gemeldet werden, sollte man sich irgendwann fragen, ob man die Community nicht einfach mit Spam zur Link-Promotion flutet.
Ich verstehe, dass Leute ihre Arbeit bewerben wollen, aber die Community hat ebenfalls Präferenzen. Die Community kann es leid sein, dass täglich LLM-Beiträge auf der Frontpage stehen. Die Community kann Spam ablehnen und Beiträge melden.
Ich weiß nicht, warum es so schwer zu glauben ist, dass HN-Nutzer Nachrichten zu LLMs satt haben. Ich habe sie auch satt, habe aber keine Meldeberechtigung. Es ist sehr plausibel, dass HN-Nutzer mit Meldeberechtigung LLM-Nachrichten melden wollen.
Sie sollte auf der Kommentarseite sein; dorthin kommst du, indem du auf den Zeitstempel eines Kommentars klickst.
Wenn du dir nicht vorstellen kannst, dass Leute LLM-Nachrichten leid sein könnten, habe ich ein NFT für dich zu verkaufen.
Ich bin mir nicht sicher, ob die Annahme gültig ist, dass „ein Beitrag nicht innerhalb einer Minute aus den Top 30 auf unter Platz 90 fallen kann und daher explizit entfernt worden sein muss“.
https://news.social-protocols.org/stats?id=39094387 sieht nach einem Beitrag aus, der ziemlich schnell in den 30er-Bereich gefallen ist. Es könnte auch plötzlich andere populäre Inhalte gegeben haben.
Wenn man sich die 13 Beiträge ansieht, die für Montag, den 22. Januar 2024, aufgelistet sind, scheinen nur 3 davon tatsächlich von HN entfernt worden zu sein. Die anderen 10 existieren noch.
Der HP-Beitrag https://news.ycombinator.com/item?id=39087776 scheint von der Frontpage verdrängt worden zu sein, weil er ein Duplikat von https://news.ycombinator.com/item?id=39060793 war.
Der Ford-Beitrag https://news.social-protocols.org/stats?id=39089599 scheint falsch erkannt worden zu sein.
Ehrlich gesagt sehen nur 3 bis 4 der 13 nach möglicher Moderation aus, und selbst das wirkt nicht schlecht. Gehört die Geschichte über den Stacheldraht in Texas auf Hacker News? Ich bin in Texas und sie interessiert mich, aber ich würde erwarten, sie anderswo zu lesen, nicht auf HN.
Insgesamt habe ich den Eindruck, dass HN gute Moderation leistet.
Wenn ein Beitrag wegen Nutzermeldungen algorithmisch herabgestuft, aber nicht verborgen wird, ist das dann explizit? „Explizit“ scheint manuelles Eingreifen eines Moderators zu bedeuten, aber dafür sehe ich nicht viel, was das stützt.
Politisch ist es, ja, aber es ist kein lokales Thema.