Hacker-News-Mapping, um in der HN-Community herauszufinden, wer was weiß

40 million embeddings to find who knows what on Hacker News

Projekthintergrund

• In einem früheren Beitrag wurden die 40 Millionen Beiträge und Kommentare von Hacker News eingebettet, um eine semantische Karte der Community zu erstellen
• Dabei wurde festgestellt, dass die Community das Projekt unterstützte und sich über die vorgeschlagenen Inhalte hinweg schnell auf reale Beziehungen in aller Welt verdichtete
• Durch ein Gespräch mit Robert wurde seine Arbeit aus dem Jahr 2008 über den Aufbau eines Algorithmus für soziale Bedeutung diskutiert
• Es war überraschend, dass auch nach 16 Jahren soziale Netzwerke wie Hacker News noch immer keine vertrauenswürdigen Stimmen nach Themen berechnen und anzeigen

Zentrale Fragen

• Warum ist es so schwierig, die Menschen zu finden und zu erkunden, die zu einem bestimmten Thema am meisten wissen?
• Wie groß ist die Bandbreite ihres Wissens und wie sehen ihre Beziehungen zu ähnlich denkenden Menschen aus?

Neue App-Funktionen

• Mit der neuen App lässt sich die semantische Karte von Hacker News erkunden und interaktiv nutzen (hn2.wilsonl.in)

Interessante Entdeckungen

• Semantische Organisation von Nutzern: Die Bedeutung der Community wird ausgehend von Nutzern organisiert und zeigt HN-Beiträge zusammen mit semantisch ähnlichen Nutzern
  • Beispiel: neues Profil von robg ansehen
• Semantische Suche: Die Bedeutung von HN kann danach durchsucht werden, wer was weiß
  • Beispielabfragen: Startups, Go vs Rust-Programmierung, Neurowissenschaft und Schlaf, E-Mail-Marketing
• Kartierung der Community: Die Community kann anhand der Bedeutung dessen kartiert werden, wer was weiß
  • Da Wissen nicht gleichmäßig verteilt ist, können über die Topografie der Community Menschen und das hervorgehoben werden, was sie wissen

Potenzial der Technologie

• Die Kombination aus den drei Funktionen, Bedeutung zu organisieren, zu durchsuchen und Communities zu kartieren, kann die Menschen hinter den Wörtern sichtbar machen
• Statt die Informationen der Welt zu organisieren, kann man die Menschen der Welt organisieren
• Das regt zum Nachdenken über verschiedene Herausforderungen sozialen Wissens an
• Wer das Projekt bei weiteren Fortschritten gemeinsam erkunden möchte, sollte sich in die Warteliste eintragen

Zusammenfassung von GN⁺

• Dieses Projekt zeigt einen Weg, über eine semantische Karte der Hacker-News-Community Expertinnen und Experten zu bestimmten Themen zu finden und zu erkunden
• Durch die semantische Analyse von Nutzerbeiträgen werden Beziehungen zu ähnlichen Nutzern visualisiert
• Mit der Suchfunktion lassen sich Menschen mit Wissen zu bestimmten Themen leicht finden
• Über die Topografie der Community werden Menschen und das hervorgehoben, was sie wissen
• Das Projekt bietet eine neue Möglichkeit, Menschen zu vernetzen und Wissen zu teilen

[GN⁺]

Hacker-News-Kommentare

• Es gefällt, dass HN sich eher auf Inhalte und Diskussionen als auf einzelne Nutzer konzentriert

  • Wenn ich Experten folgen wollte, würde ich ein soziales Netzwerk wie Mastodon oder RSS-Feeds nutzen
  • Dieses Tool neigt dazu, eher aktive Kommentatoren als sachkundige Experten auszuwählen
  • Trotzdem ein cooles Projekt

• Mein Benutzername stammt vom Alter Ego des Erzählers aus "Zen and the Art of Motorcycle Maintenance"

  • Er spiegelt Phædrus’ Fähigkeit wider, das analytische Messer zu benutzen
  • Ich verwende häufig Schlüsselwörter wie "part, system, level, language, article, object"

• Ich werde als führender Experte für Optimizing Toilet Lid Design vorgestellt

• Es scheint meine E-Mail aus dem Profiltext extrahiert und in einen mailto:-Link umgewandelt zu haben

  • Sarka­stischer Dank dafür, dass es Spammern das Sammeln von E-Mail-Adressen erleichtert

• Ein Eintrag mit dem Titel "Risk of COVID from pianos" ist am unteren Rand der Karte enthalten

  • Ich frage mich, woher das stammt

• Das Beste an HN ist, dass sich Kommentare vergänglich anfühlen

  • Es ist unangenehm, ohne Zustimmung analysiert und veröffentlicht zu werden
  • Nicht alles muss analysiert werden, und nicht alles muss ein Wettbewerb sein
  • Es ist gut, dass der Fokus auf den Inhalten liegt
  • Hat mich dazu gebracht, meinen Twitter-Handle aus der Bio zu entfernen

• Ein kürzlich verwandtes Projekt:

  • "Show HN: Exploring HN by mapping and analyzing 40M posts and comments for fun" (Mai 2024, 159 Kommentare)

• Vor ein paar Jahren gab es ein umstrittenes Tool

  • Es war ein Tool, das anhand von Textanalyse und Stil ähnliche Nutzer fand
  • Ich habe gehört, dass es sehr genau war
  • Ich frage mich, ob dieses Tool für einen solchen Zweck wiederverwendet werden könnte
  • Es ist nicht klar, ob "Explore More Users" nach Ähnlichkeit sortiert ist

• Als Nutzer mit wenig Aktivität empfinde ich dieses Tool als ungenau

  • Es scheint sich auf Fragen zu jpeg xl zu konzentrieren, von denen ich am wenigsten verstehe
  • Es könnte eine Verzerrung hin zu allgemeineren Themen geben

• Es war schwierig, bei meinem Benutzernamen tiefer einzusteigen

  • Abgesehen davon, dass viele Punkte auf der Karte verstreut sind, liefert es nicht viele Informationen
  • Ich versuche noch zu verstehen, worum es im gesamten Cluster geht
  • Der Großteil hat mit Android/Apple/Google zu tun