Bots, zu viele Bots

Bots, zu viele Bots

Ausgangslage

• ProductHunt hat mehr als 1 Million registrierte Nutzer
• Mehr als 60 % davon sind Bots

So fing es an

• ProductHunt wird seit 2014 genutzt
• In letzter Zeit schienen die meisten Kommentare mit ChatGPT erstellt worden zu sein

Ein einfacher Test

• Ein Produkt wurde mit Prompt-Injection für LLMs in der Produktbeschreibung veröffentlicht
• Dabei wurde bestätigt, dass fast alle Kommentare automatisiert waren

Kann man Bots unterscheiden?

• Auf Kommentare zu antworten ist Zeitverschwendung
• Wenn viele Bots kommentieren, voten sie vermutlich auch hoch
• Es gibt auch Leute, die bezahlte Upvotes kaufen

Datenanalyse

• Analysiert wurden die Listen von ProductHunt-Nutzern, Launches, Upvotes und Kommentaren
• Es gibt mehr als 1 Million Registrierungen, mehr als 300.000 Launches, 2,5 Millionen Kommentare und 20 Millionen Upvotes
• Jedes Produkt hat ein Tagesranking, das dem Score 24 Stunden nach Mitternacht PDT entspricht

Erkennung von Bot-Accounts

• Bot-Erkennung ist schwierig
• Es wurde versucht, durch die Analyse der Kommentarzeiten von Nutzern Trends zu finden
• Ein Nutzer hat sich zum Beispiel vor 677 Tagen registriert, 2009 Kommentare geschrieben und 4649 Upvotes vergeben
• Das nutzt zwar Automatisierung, ist aber kein Bot
• Ein Bot-Nutzer hat sich vor 140 Tagen registriert, 173 Kommentare geschrieben und 246 Upvotes vergeben
• Bot-Kommentare erscheinen in regelmäßigen Abständen, und das Diagramm ist nicht glatt, sondern kastenförmig
• Nutzern wurde anhand mehrerer Kriterien ein Risikoscore zugewiesen
• Von ChatGPT erzeugte Kommentare verwenden häufiger Wörter wie "game-changer"
• Bot-Kommentare enthalten Zeichen oder Produktnamen, die sich nicht leicht eintippen lassen
• Clustering funktioniert bis zu einem gewissen Grad, aber viele Bot-Accounts werden nach der Nutzung weggeworfen
• Am Ende wurde festgestellt, dass mehr als 60 % der Registrierungen automatisierte Bot-Accounts sind

Bot-Aktivität im Zeitverlauf

• Seit 2018 werden mehr Bot-Nutzer als echte Nutzer erstellt
• Seit Ende 2022 sind Bot-Kommentare sprunghaft angestiegen
• Schon 2022 übertrafen Bot-Upvotes die echten Upvotes
• Bots bilden Voting-Ringe, über die Anbieter Upvotes kaufen
• Die meisten veröffentlichten Produkte erhalten nur wenige echte Upvotes
• Um im Tagesranking Platz 1 zu erreichen, sind 15 % Bot-Upvotes erforderlich
• Mehr als 60 % der Bot-Upvotes schaffen es nicht auf Platz 1

Abschließende Gedanken

• Es sollte eine Liste der Launches ohne Bot-Upvotes erstellt werden, aber aus Zeitgründen wurde das auf den nächsten Blogbeitrag verschoben

Zusammenfassung von GN⁺

• Mehr als 60 % der ProductHunt-Nutzer sind Bot-Accounts
• Bot-Kommentare und Bot-Upvotes verzerren die Aktivität echter Nutzer
• Bot-Erkennung ist schwierig, aber über mehrere Kriterien und Risikoscores möglich
• Mit zunehmender Bot-Aktivität könnte die Glaubwürdigkeit von ProductHunt sinken
• Ein anderes Produkt mit ähnlicher Funktion ist Hacker News

[GN⁺]

Hacker-News-Meinungen

• Eine Analyse, die mit einer willkürlichen Klassifizierung beginnt, ob ein Nutzer ein Bot ist oder nicht, ist problematisch. Wenn diese Klassifizierung falsch ist, ist die gesamte Analyse falsch

  • Zum Beispiel gab es Ende 2022 einen starken Anstieg von Bot-Kommentaren. Das fällt mit dem Zeitraum zusammen, in dem ChatGPT breit genutzt wurde
  • Von ChatGPT erzeugte Kommentare verwenden häufig Wörter wie „game-changer“. Bot-Kommentare enthalten unverändert Zeichen oder Produktnamen, die man nicht leicht tippen kann
  • Daher werden Nutzer, die sich wie ChatGPT verhalten, als Bots klassifiziert, und es wird angenommen, dass solche Nutzer nach der Veröffentlichung von ChatGPT zugenommen haben. Es ist aber auch möglich, dass es schon vorher viele Bots gab

• Ich frage mich, ob ProductHunt CAPTCHA-Lösungen verwendet

  • CAPTCHA ist weiterhin nützlich, um Spam-Angriffe zu verhindern
  • Die übliche Kritik betrifft Probleme bei Benutzerfreundlichkeit, Barrierefreiheit und Privatsphäre. Nutzer mögen es nicht
  • In den letzten Jahren sind CAPTCHAs entstanden, die ohne Nutzereingabe funktionieren und die Privatsphäre schützen
  • Fortgeschrittene Bots können CAPTCHA leicht umgehen. Traditionelle Techniken sind aber trotzdem nützlich, um einfache Bots zu stoppen. Gegen fortgeschrittene Bots kann man mit weiterentwickelten Technologien wie ML kämpfen
  • CAPTCHA ist gegen Angriffe mit echten Menschen nicht wirksam. Dafür braucht es andere Mechanismen

• Als ich vor 5 Jahren ein Produkt auf ProductHunt gepostet habe, bekam ich Dutzende Nachrichten, die den ersten Platz garantierten. Heute ist es wahrscheinlich noch schlimmer

• Ich frage mich, wer überhaupt auf ProductHunt ist. Kunden? Wahrscheinlich nicht. Indiehackers? Vielleicht. Ich frage mich, an wen man dort verkauft und ob sich ein Launch auf ProductHunt lohnt

• Der Aufwand und das Ergebnis von jemandem, den ich persönlich kenne, kommen gut rüber. Gut gemacht

• Das ist ein Fortschritt der „Dead-Internet-Theorie“. Um echte Interaktion sicherzustellen, braucht man eine starke und vertrauenswürdige Identität, die bei Missbrauch Konsequenzen nach sich zieht

  • Diese Identität muss vom Staat umgesetzt werden. Große Tech-Unternehmen haben das bisher nicht gelöst, und ich bezweifle, dass sie überhaupt den Willen dazu haben
  • Wenn Google zum Beispiel hart dagegen vorgehen würde und 60–80 % des YouTube-Traffics von Bots kämen, würden die Einnahmen verschwinden

• Es gibt einige Posts auf Reddit, bei denen gelegentlich GPT-basierte Bots Kommentare hinterlassen wie „Thema? Wow! Das regt wirklich zum Nachdenken an, ich frage mich, warum das wichtig ist“

  • Vielleicht betreibt Reddit solche Bots selbst, um Engagement zu erzeugen

• Viele Menschen merken wahrscheinlich nicht, dass sie mit GenAI sprechen

  • Schon jetzt ist es ein Problem, dass dieselbe Person über mehrere Accounts Gespräche führt und sich als verschiedene Personen ausgibt. GenAI macht es billig, Narrative über Bots zu manipulieren
  • Das ist ein Problem aller sozialen Netzwerke. Die Verifizierung, dass jemand ein Mensch ist, ist die einzige Lösung
  • Ich baue gerade ein soziales Netzwerk, in dem nur echte Menschen upvoten/downvoten und kommentieren können

• Ich habe auf X einen ein Jahr alten Account und noch nie kommentiert. Trotzdem folgen mir 35 attraktive Frauen. Keine Männer und keine unattraktiven Frauen. Das liegt nicht an der Attraktivität meiner Likes

  • Das ist ein Mikrokosmos des gesamten Webs

• Jemand sollte ein T-Shirt mit „me good LLM“ verkaufen