Hacker-News-Mapping, um in der HN-Community herauszufinden, wer was weiß

 (blog.wilsonl.in)
1 Punkte von GN⁺ 2024-07-27 | 1 Kommentare | Auf WhatsApp teilen

40 million embeddings to find who knows what on Hacker News

Projekthintergrund

  • In einem früheren Beitrag wurden die 40 Millionen Beiträge und Kommentare von Hacker News eingebettet, um eine semantische Karte der Community zu erstellen
  • Dabei wurde festgestellt, dass die Community das Projekt unterstützte und sich über die vorgeschlagenen Inhalte hinweg schnell auf reale Beziehungen in aller Welt verdichtete
  • Durch ein Gespräch mit Robert wurde seine Arbeit aus dem Jahr 2008 über den Aufbau eines Algorithmus für soziale Bedeutung diskutiert
  • Es war überraschend, dass auch nach 16 Jahren soziale Netzwerke wie Hacker News noch immer keine vertrauenswürdigen Stimmen nach Themen berechnen und anzeigen

Zentrale Fragen

  • Warum ist es so schwierig, die Menschen zu finden und zu erkunden, die zu einem bestimmten Thema am meisten wissen?
  • Wie groß ist die Bandbreite ihres Wissens und wie sehen ihre Beziehungen zu ähnlich denkenden Menschen aus?

Neue App-Funktionen

  • Mit der neuen App lässt sich die semantische Karte von Hacker News erkunden und interaktiv nutzen (hn2.wilsonl.in)

Interessante Entdeckungen

  • Semantische Organisation von Nutzern: Die Bedeutung der Community wird ausgehend von Nutzern organisiert und zeigt HN-Beiträge zusammen mit semantisch ähnlichen Nutzern
    • Beispiel: neues Profil von robg ansehen
  • Semantische Suche: Die Bedeutung von HN kann danach durchsucht werden, wer was weiß
    • Beispielabfragen: Startups, Go vs Rust-Programmierung, Neurowissenschaft und Schlaf, E-Mail-Marketing
  • Kartierung der Community: Die Community kann anhand der Bedeutung dessen kartiert werden, wer was weiß
    • Da Wissen nicht gleichmäßig verteilt ist, können über die Topografie der Community Menschen und das hervorgehoben werden, was sie wissen

Potenzial der Technologie

  • Die Kombination aus den drei Funktionen, Bedeutung zu organisieren, zu durchsuchen und Communities zu kartieren, kann die Menschen hinter den Wörtern sichtbar machen
  • Statt die Informationen der Welt zu organisieren, kann man die Menschen der Welt organisieren
  • Das regt zum Nachdenken über verschiedene Herausforderungen sozialen Wissens an
  • Wer das Projekt bei weiteren Fortschritten gemeinsam erkunden möchte, sollte sich in die Warteliste eintragen

Zusammenfassung von GN⁺

  • Dieses Projekt zeigt einen Weg, über eine semantische Karte der Hacker-News-Community Expertinnen und Experten zu bestimmten Themen zu finden und zu erkunden
  • Durch die semantische Analyse von Nutzerbeiträgen werden Beziehungen zu ähnlichen Nutzern visualisiert
  • Mit der Suchfunktion lassen sich Menschen mit Wissen zu bestimmten Themen leicht finden
  • Über die Topografie der Community werden Menschen und das hervorgehoben, was sie wissen
  • Das Projekt bietet eine neue Möglichkeit, Menschen zu vernetzen und Wissen zu teilen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-07-27
Kommentare auf Hacker News

  • Ich persönlich mag an HN, dass der Fokus stärker auf Inhalten und Diskussionen liegt als auf einzelnen Nutzern. Wenn ich Experten folgen wollte, würde ich mir wohl in einem sozialen Netzwerk wie Mastodon selbst eine Liste zusammenstellen oder RSS-Feeds irgendwie zusammenfrickeln.
    Dieses Tool scheint eher aktive Kommentatoren herauszufiltern als sachkundige Experten, und es gibt auch das Problem mit Wegwerf-Accounts. Trotzdem ein cooles Projekt.

    • Ich persönlich lese Nutzernamen nicht. Das ist der einfachste Weg, sich auf Kommentare zu konzentrieren, und dass es keine Dinge wie Avatare oder Signaturen gibt, hilft dabei enorm.
      Ich habe keinerlei Erinnerung daran, mit wem ich auf HN gestritten habe, aber es ist sicher ein paar Mal vorgekommen.
    • Geht mir genauso. Mir gefällt, dass es hier keine Avatare usw. gibt und es dadurch inhaltszentriert bleibt.
      Gleichzeitig finde ich auch das Projekt aus dem ursprünglichen Beitrag großartig.
    • Am interessantesten dürften die Leerstellen sein. Denn Tendenzen des Fehlens sind am schwersten zu bemerken. Welche blinden Flecken übersieht Hacker News auf quantifizierbare Weise?
    • Eine eigene Liste von Experten zu kuratieren, denen man folgen will, kostet ziemlich viel Aufwand. Ein Tool, das dabei hilft, wäre schön.
      Idealerweise müsste man sich einfach nur Inhalte ansehen, ohne eine Liste vertrauenswürdiger Experten zu brauchen, aber früher gab es mal eine Zeit, in der eine Suche nach „welche Datenbank ist am besten zu verwenden“ nützliche Ergebnisse lieferte. Heute nicht mehr. HN ist vielleicht noch besser als andere Orte, hat aber letztlich ähnliche Probleme.
    • Ich denke, man könnte die soziale Ebene eine Stufe weiterheben, damit man sich tiefer mit Menschen verbinden kann, die ähnliche Interessen haben.
      So würde man nicht nur Beiträge zählen, sondern auch berechnen, wie diese Beiträge mit anderen Menschen verbunden sind.

  • Auf der Seite https://hn2.wilsonl.in/user/simonw steht unten auf der Karte „Risk of COVID from pianos“. Ich würde wirklich gern wissen, woher das kommt.

    • Das sieht nach einer Zusammenfassung dieses Kommentars aus: https://news.ycombinator.com/item?id=30105274
      Wenn man den roten Cursor vergrößert und über die entsprechende Stelle/den Text auf der Karte bewegt, erscheint unter der Karte der Originalkommentar.
    • Gibt es vielleicht auch ein Risiko, durch COVID Klaviere zu bekommen?
      So wie zu Beginn der Pandemie die Verkäufe von Gitarren und Home-Gym-Ausrüstung stiegen, weil die Leute Hobbys für zu Hause suchten.
    • Meine Ergebnisse wirken ziemlich genau. RDP-Beschleunigung, 3D-Drucker-Firmware, Touchscreen-Graffiti-Gesten und Mainline-Linux auf SBCs tauchen auf, und das sind alles meine Hobbys.
      Zu meiner eigentlichen Arbeit — Cloud-Architektur, Networking — und zu dem völlig überlaufenen Feld KI kommentiere ich kaum. Merkwürdigerweise gibt es fast nichts zu Apple, was angesichts meines Blogs ziemlich ironisch ist. Dieses Tool zeigt also, worüber Leute hier diskutieren, aber nicht unbedingt, was sie wissen.
    • Ich frage mich, ob es helfen würde, die Punkte stärker interaktiv zu machen.

  • https://hn2.wilsonl.in/user/c0l0 — Anscheinend bin ich ein führender Experte für Designoptimierung von Toilettendeckeln. Fragt mich alles.

    • Hier ist eine Autorität für Design von Zwei-Mengen-Spültasten, also sollte ich wohl erst mal einen Schritt zurücktreten.
    • Woran wird beurteilt, wofür genau ich konkret bekannt bin?
      Auf meiner Seite gibt es extrem viele Einträge: https://hn2.wilsonl.in/user/AndrewKemendo
    • Meine Ergebnisse sind ein völlig unsinniges Chaos. Wenn ich darüber nachdenke, ergibt das Sinn. Ich bin ja auch so.
      https://hn2.wilsonl.in/user/SketchySeaBeast
    • Das ist gar nichts. Ich bin weltweit berühmt für vergleichende Analysen der Kamineffizienz.
      Ich frage mich, ob beim Erstellen der Embeddings IDF verwendet wurde und seltenen Wortgruppen dadurch ein viel zu großes Gewicht gegeben wurde.

  • Kürzlich verwandter Beitrag:
    Show HN: Aus Spaß 40 Millionen HN-Beiträge und -Kommentare gemappt und analysiert, um HN zu erkunden - https://news.ycombinator.com/item?id=40307519 - Mai 2024, 159 Kommentare

    • Es ist erstaunlich, dass HN Wilson und mich über 16 Jahre und über die ganze Welt hinweg zusammengebracht hat.
      Wegen Communities wie HN setze ich Hoffnungen in die Zukunft des Vertrauens im Internet.

  • Es sieht so aus, als hätte es meine E-Mail aus dem Profiltext extrahiert und daraus einen mailto:-Link gemacht; ich gebe zu, dass sie nach heutigen LLM-Maßstäben nicht ausreichend verschleiert war.
    Trotzdem hat es das Scrapen erleichtert, also sollte ich wohl im Namen der Low-Effort-Spammer Danke sagen.

    • Ich frage mich, ob es tatsächlich noch Low-Effort-Spam-Bots gibt, die mailto:-Links scrapen, oder ob wir E-Mail-Verschleierung einfach weiterhin als Cargo-Kult betreiben.
      Seit damals hat sich Spam wirklich stark verändert; wird diese Strategie überhaupt noch verwendet?
    • Selbst ein einfaches LLM dürfte E-Mail-Versteckversuche im Stil der 2000er auflösen können.
      Zum Beispiel die Art von Verschleierung, bei der ein Freund auf der Kontaktseite eines beliebten Blogs „firstname [cute arobase sign] domain.com“ geschrieben hat.
    • Normalerweise mache ich mir über so etwas keine großen Gedanken, aber das hier ist nicht in Ordnung. Bei mir wurde es genauso behandelt.
      Gibt es eine Möglichkeit, aus dieser Funktion per Opt-out auszusteigen?
    • In meinem Fall ist die Base64-Dekodierung fehlgeschlagen.

  • Ich erinnere mich an ein ziemlich umstrittenes Tool, das vor ein paar Jahren hier gepostet wurde. Es nutzte Stilanalyse und Stylometrie, um „ähnliche Nutzer“ zu finden: Gab man einen Nutzernamen ein, fand es vermutlich Nebenaccounts derselben Person.
    Angeblich war es unheimlich genau – zumindest habe ich das von einem Freund mit Nebenaccounts so gehört. Könnte dieses Tool auch für so etwas zweckentfremdet werden? Man könnte die als „Karte“ gerenderten Darstellungen der einzelnen Nutzer-Avatare als Vektoren encodieren und dann mit anderen Nutzern vergleichen.
    Edit: Moment, mir ist gerade klar geworden, dass es das offenbar schon macht. Auch wenn nicht sofort ersichtlich ist, ob „Explore More Users“ nach Ähnlichkeit sortiert ist.

    • Nebenaccounts auf diese Weise zu finden, dürfte wahrscheinlich weniger gut funktionieren. Leute nutzen Nebenaccounts normalerweise, um an Diskussionen teilzunehmen, mit denen sie ihren Hauptaccount nicht in Verbindung bringen wollen.
      Arbeitgeber, Politik und andere Themen: Die Themen, an denen ein Nebenaccount teilnimmt, unterscheiden sich vermutlich stark. Stilometrie funktioniert dagegen, weil nicht viele Menschen ihren Schreibstil grundlegend ändern können, selbst wenn sie sich Mühe geben.
    • Wahrscheinlich war es das hier: https://news.ycombinator.com/item?id=33755016
    • Vor ein paar Jahren habe ich ein System gebaut, das genau so etwas macht: https://x.com/austingwalters/status/1041894765439201281
      Ironischerweise habe ich damals wie auch seitdem fast nur Embeddings verwendet, aber dieses System nutzt keine Embeddings. Das Hauptproblem bei Embeddings ist, dass sie sich im Lauf der Zeit nicht gut verändern. Man kann sie anpassen, aber nicht so einfach wie andere Ansätze. Sprache ist voller branchenspezifischer Abkürzungen, und Modelle sind im Allgemeinen schlecht darin, sich an verändernde Ausdrücke und Abkürzungen anzupassen. Am Ende habe ich noch ein paar Dinge kombiniert und daraus ein Unternehmen gemacht: https://ipcopilot.ai
      Aktuell suche ich für eine Demo auf Hacker News nach Ideen: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
    • Eine Art, Nutzer bis zu einem gewissen Grad zu zusammenzufassen, fände ich interessant.
      Zum Beispiel: user123 ist ziemlich witzig, drückt sich schlüssig aus, interessiert sich für TypeScript und Webentwicklung und hat hohe Werte bei Gewissenhaftigkeit und Extraversion.
    • Interessant, aber ich finde es auch etwas unheimlich. Ich würde gern wissen, wie man es besser machen könnte, um diesen Effekt zu verringern.

  • Mein Nutzername stammt von einem anderen Ich des Erzählers in 『Zen and the Art of Motorcycle Maintenance』. Er bezieht sich auf die Passage über das Messer der Analyse.
    “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
    Ob der Name das Schicksal bestimmt hat, ob ich mich selbst gut genug kannte und deshalb diesen Namen gewählt habe, oder ob ich diese Wörter einfach zu oft verwende – in meinen Keywords tauchen jedenfalls „part, system, level, language, article, object“ und Ähnliches auf.

  • Mit meinem Nutzernamen tatsächlich tiefer einzusteigen, war etwas schwierig, und außer vielen Punkten über die ganze Karte zu streuen, scheint es nicht viel zu zeigen.
    Ich versuche zu verstehen, was der gesamte Cluster bedeutet, aber das meiste scheint einfach android/apple/google zu sein: https://hn2.wilsonl.in/user/mmastrac

    • Heißt das, dass meine Expertise zu Apple, Google und Tesla gar nicht besonders einzigartig ist?

  • Interessant. Mir ist aufgefallen, dass mein Kommentar mit den meisten Upvotes eine Antwort auf eine juristische Frage war. In dem Bereich habe ich relativ mehr Expertise als die meisten HN-Nutzer. Ich war früher Anwalt.
    Nach diesem Tool gehöre ich zwar nicht zu den Top-Kommentatoren für law/legal/lawyer, aber einige der Namen ganz oben erkenne ich definitiv wieder und erinnere mich, sie in juristischen Threads gesehen zu haben. Ziemlich cooles Tool.

    • Enthält die HN API auch Kommentar-Scores?

  • Das Beste an HN ist, dass sich die Kommentare ziemlich flüchtig anfühlen. Mir gefällt es nicht, ohne meine Zustimmung analysiert und öffentlich ausgestellt zu werden.
    Auf der Seite gibt es zwar nichts besonders Interessantes über mich, aber es fühlt sich seltsam an. Nicht alles muss analysiert werden, und man muss auch nicht überall konkurrieren. Was ich sagen will: Mir gefällt, dass der Fokus auf dem Inhalt liegt und nicht darauf, wer etwas gesagt hat. Nachdem ich das gesehen habe, habe ich meinen Twitter-Handle aus meinem Profil entfernt. Ich wäre dankbar, wenn die App das ebenfalls aktualisieren würde.

    • Zu der Aussage, dass sich „Kommentare ziemlich flüchtig anfühlen“: Ich nutze eine Google-Chrome-Erweiterung, die aufleuchtet, wenn es zu einer Seite, die ich mir ansehe, HN-Kommentare gibt.
      Wenn ich einen Blogbeitrag zufällig entdecke und diese Anzeige aufleuchtet, lese ich die Kommentare oft, selbst wenn der Beitrag schon vor Jahren erschienen ist. Häufig bekommt man dort nützliche Einblicke oder Kontext.
    • Für alle, die das lesen: Kommentare sind das genaue Gegenteil von flüchtig. Nach einer sehr kurzen Anfangszeit kann man sie nicht mehr löschen oder bearbeiten.
      Deshalb kann alles, was man hier sagt, für immer mit einem verknüpft werden, und das kann tatsächlich passieren. Direkt oder, wie dieses Tool zeigt, auf unscharfere Weise.
    • Ich kenne dieses Gefühl. Mir ging es genauso.
      Aber mir wurde klar, dass man von jedem Kommentar aus mit zwei Klicks bei so einer Abfrage landet: https://news.ycombinator.com/threads?id=RamblingCTO
    • Kommentare hier waren noch nie flüchtig.
      Hacker News selbst stellt seit Jahren eine nahezu kostenlose Echtzeit-API und mehrere große Datensätze bereit, mit dem Ziel, es allen leicht zu machen, die Kommentare hier zu analysieren: https://github.com/HackerNews/API
      Kein Kommentar, den man im Internet geschrieben hat, war je flüchtig. Schon vor mehr als 20 Jahren hat man sogar aufgehört, auch nur so zu tun, als wäre es anders.