- Mithilfe von 1.903 KI-Personas, die auf echten Hacker-News-Kommentardaten basieren, wurde vorhergesagt, ob Beitragstitel viral gehen, und dabei eine Genauigkeit von 60 % erreicht
- Das ist 20 % besser als zufälliges Raten und eröffnet zwar die Möglichkeit, klassische Marktforschung zu ersetzen, zeigt aber auch, dass soziale Verbreitungsdynamiken die Vorhersage erschweren
- Die Analyse gescheiterter Vorhersagen bestätigt den Einfluss von Glück und Timing, bei dem schon die ersten wenigen Upvotes das Gesamtergebnis verändern können
- Das Ergebnis deutet darauf hin, dass KI individuelle Vorlieben gut modellieren kann, bei der Vorhersage viralen Erfolgs aber an Grenzen stößt
- Der Autor rät, KI-Marktforschung eher zur Erkundung von Richtungen als für exakte Vorhersagen zu nutzen und sie vor allem für relative Vergleiche und wiederholte Simulationen einzusetzen
Überblick über das Experiment und die Ergebnisse
Versuchsmethode: eine virtuelle Hacker-News-Community aus KI
- Es wurden 1.147 Hacker-News-Beitragstitel gesammelt, die am 12. März 2025 veröffentlicht wurden
- Auf Basis echter Nutzerkommentare wurden 1.903 KI-Personas erstellt; jede Persona wurde gefragt, „ob sie diesem Titel einen Upvote geben würde“
- Anschließend wurden echte Top- und Flop-Beiträge gemischt präsentiert und die Vorhersagegenauigkeit gemessen
- Die Trefferquote der Vorhersage lag bei 60 % und war damit deutlich besser als Zufall (50 %)
Beispiele für Fehlvorhersagen und ihre Grenzen
- „Gemma 3: Google’s new multimodal models“ sagte die KI als viral voraus, tatsächlich blieb der Beitrag aber bei 4 Upvotes
- Dagegen erreichte „Gemma 3 Technical Report [pdf]“, das dasselbe Thema behandelte, 1.324 Upvotes
- Auch reißerische Titel wie „TSA finds live turtle in man’s pants“ sagte die KI als erfolgreich voraus, in der Realität scheiterten sie jedoch
Ursachenanalyse
- Ob etwas viral geht, hängt stärker vom sozialen Kontext wie früher Sichtbarkeit, Upvote-Zahl und Timing ab als von der Qualität des einzelnen Inhalts
- Eine Princeton-Studie zeigte: Wurde dieselbe Songliste je nach Gruppe unterschiedlich exponiert, wurden manche Songs entweder riesige Erfolge oder komplette Flops
- Fazit: Nicht „gute Inhalte setzen sich durch“, sondern eher „Inhalte, die mit Glück sichtbar werden, setzen sich stärker durch“ — ein Effekt von Netzwerkeffekten
Praktische Implikationen: So lässt sich KI-Marktforschung nutzen
- Vorhersagen mit KI-Personas sind nicht perfekt, liefern aber eine „brauchbare Genauigkeit“ von 60 %
- Die von anderen KI-Marktforschungstools behaupteten Genauigkeiten von über 90 % beruhen auf Umfragedaten und unterscheiden sich daher deutlich von realistischen Vorhersagen viraler Verbreitung
Strategien für den Praxiseinsatz
- Nicht als Vorhersage-, sondern als Werkzeug für wiederholte Experimente und zur Richtungsfindung nutzen
- Beispiel: 10 Schlagzeilen testen und Kandidaten aussortieren, die sich nicht lohnen
- Validierung durch wiederholte Simulationen
- Beispiel: Inhalte, die in mindestens 6 von 8 Durchläufen hoch bewertet werden, sind einen Test wert
- Statt auf absolute Werte auf relative Rangfolgen konzentrieren
- KI kann klare Stärken und Schwächen gut unterscheiden, hat aber Schwierigkeiten bei Vorhersagen zwischen sehr ähnlichen Inhalten
Selbst ausprobieren: Prompt zum Klonen von HN-Nutzern
- Wenn man den Text von der Kommentarseite eines Hacker-News-Nutzers kopiert und mit dem folgenden Prompt in ChatGPT oder Claude eingibt, lässt sich eine virtuelle Persona erzeugen.
You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Mit der erzeugten Persona lassen sich verschiedene Content-Ideen testen
- Diese Methode liefert zwar keine statistisch kalibrierte Vorhersage, kann aber als sinnvolles Tool dienen, um ohne Kosten Richtungen zu erkunden
Fazit
- KI kann die Reaktionen einzelner Nutzer recht gut modellieren, doch viraler Erfolg wird vom „Chaos“ sozialer Verbreitung beeinflusst
- Bei der Inhaltsprognose kann KI letztlich nur eine Richtungs-Guideline statt eines Propheten sein
- Trotzdem zeigt dieses Experiment, dass auch kleine Teams oder Einzelpersonen mit KI kostengünstig Marktforschung betreiben können
Noch keine Kommentare.