So findet man verborgene Wachstumschancen im Produkt

• Zusammenfassung des Transkripts eines YouTube-Videos, in dem Albert Cheng, der weltweit führende Abo-Produkte wie Duolingo und Grammarly wachsen ließ, erklärt, wie man Nutzer mit dem Produktwert verbindet
  • Er betont, dass Wachstum kein bloßes Hacken von Kennzahlen ist, sondern ein nutzerzentrierter Prozess der Wertvermittlung
• Mit dem Framework Explore und Exploit werden Erkenntnisse aus Experimenten auf das gesamte Produkt ausgeweitet; vorgestellt wird eine Strategie, mit der sich ein einzelnes erfolgreiches Experiment auf das Zehnfache oder mehr verstärken lässt
• Bei Grammarly wurde die Sampling-Methode für Paid Features bei kostenlosen Nutzern eingesetzt, um den wahren Produktwert zu zeigen, was zu einer Verdopplung der Upgrade-Rate führte
• Bei Chess.com wurden nach Niederlagen statt Fehlern starke Züge als positives Feedback gezeigt, wodurch die Game Reviews um 25 %, Abos um 20 % und die Retention deutlich stiegen
• Der Schlüssel zum Erfolg von Consumer-Abo-Produkten ist eine hohe Nutzerbindung (D1 über 30–40 %); zugleich wird angedeutet, dass organisches Wachstum durch Mundpropaganda und breite Wertvermittlung über ein kostenloses Produkt essenziell sind

---

Einführung und Hintergrund zu Albert Cheng

• Einer der weltweit führenden Experten für Consumer Growth, der Wachstum und Monetarisierung bei Duolingo, Grammarly und Chess.com vorangetrieben hat
• Zu Beginn entwickelte er bei YouTube Streaming- und Gaming-Funktionen, die von mehr als 20 Millionen Menschen genutzt wurden
• Sein einzigartiger Ansatz für Wachstum kombiniert Marketing, Daten, Strategie und Produktmanagement

Vom Pianisten zum Growth Leader

• Aufgewachsen mit täglich 90 Minuten Übung am klassischen Klavier als Kind taiwanischer Einwanderer
• Er verfügt über absolutes Gehör (Perfect Pitch), erkennt Noten sofort und lernt Musik schnell
• Er zog zunächst eine Musikhochschule in Betracht, wechselte dann aber zur Ingenieurwissenschaft
• Gemeinsamkeiten zwischen Klavier und Growth
  • Kontinuierliche Wiederholung und Lernen durch Fehler: Entwicklung schneller Feedback-Loops und von Resilienz
  • Kreativität auf einem strukturellen Fundament: kreative Lösungen auf Basis von Growth-Modellen und Metriken, ähnlich wie schöne Musik auf Grundlage der Musiktheorie entsteht

Das Framework Explore und Exploit

• Ein Konzept aus Brian Balfours Reforge-Kurs, mit dem er über seinen Engineering-Partner Nurmal bei Grammarly in Berührung kam
• Explore: der Prozess, den richtigen Berg zu finden
• Exploit: Ressourcen darauf zu konzentrieren, diesen Berg effektiv zu erklimmen
• Die meisten Unternehmen neigen zu einem der beiden Extreme
  • Zu viel Explore: Teams verzetteln sich, probieren 100 Ideen wahllos aus und haben keine Strategie
  • Zu viel Exploit: führt zu Sättigung und Stagnation und bleibt bei lokaler Optimierung stehen
• Growth-Teams geraten häufig in den Exploit-Modus

• Anwendung auf Mikroebene: der Fall Chess.com

  • Dylan, PM für die Lernfunktionen bei Chess.com, arbeitete an einer besseren Engagement-Rate für Game Reviews
  • Game Review: eine Funktion, bei der nach einer Partie ein virtueller Coach die schlechtesten und die besten Züge erklärt
  • Erkenntnisse durch Datentracking
    • 80 % der Nutzer, die Game Reviews verwenden, nutzen sie nur nach einem Sieg
    • Ursprünglich ging man davon aus, dass sie die Funktion zur Analyse von Niederlagen oder Fehlern verwenden würden, doch die menschliche Psychologie war anders
  • Änderung des Produkterlebnisses
    • Nach einer Niederlage wurden statt Fehlern starke und die besten Züge angezeigt
    • Der Coach blendete eine aufmunternde Nachricht ein: "Eine Niederlage gehört zum Lernen dazu"
  • Ergebnis
    • 25 % mehr Game Reviews
    • 20 % mehr Abos
    • deutlich höhere Nutzerbindung
  • Exploit-Phase: Die Erkenntnis wurde im gesamten Unternehmen geteilt
    • Der Puzzle-PM übertrug das positive Muster auf sein eigenes Produkt
    • Anzeige der Erfolgsquote, Anpassung des Copywritings, Änderung der Button-Farbe usw.
    • So ließ sich ein erfolgreicher Test auf das Zehnfache skalieren

• Erfolgsquote von Experimenten und kontinuierliche Verbesserung

  • Die typische Gewinnquote von Experimenten liegt bei 30–50 %
  • Consumer-Produkte sind sehr unvorhersehbar, viele Hypothesen erweisen sich als falsch
  • Sowohl große Erfolge als auch große Fehlschläge bei Experimenten sind sehr wertvoll
    • Erkenntnisse müssen im ganzen Unternehmen geteilt werden
    • Der ursprüngliche PM muss nicht alle Anwendungsmöglichkeiten selbst finden
    • Wenn Hypothesen und Erkenntnisse klar formuliert sind, können andere Teams Ideen daraus ableiten
  • Um Erfolgsquote und Wirkung zu erhöhen, konzentrieren sich Teams auf die gewonnenen Insights

• Wann man zwischen Explore und Exploit wechseln sollte

  • Chess.com führt pro Jahr etwa 250 Experimente durch
  • Es wurde in Experiment Explorer Tools investiert
    • um einen Überblick über laufende Experimente zu erhalten
    • um Muster zwischen Hypothesen und Learnings zu erkennen
  • Wenn die Zahl statistisch nicht signifikanter Experimente steigt, ist das ein Signal für zu viel Exploit
    • Möglicherweise gibt es nichts mehr herauszuholen
    • Das Team sollte dann wieder brainstormen und zu divergentem Denken zurückkehren

Wachstum mit AI beschleunigen

• Text-to-SQL-Funktion

  • Einsatz im Slack-Channel für Datenanfragen bei Chess.com
    • Früher: Data Analysts beantworteten Ad-hoc-Fragen (Zahl der Abonnenten in Südafrika, Puzzle-Spielzeit im letzten Monat usw.) manuell
    • Heute: Ein Slack-Bot führt Queries automatisch aus und liefert Analysen
  • Wirkung
    • Der Slack-Bot wurde darauf trainiert, die erste Antwort zu liefern
    • Das gesamte Unternehmen trifft stärker datenbasierte Entscheidungen
    • Die Zahl der Fragen ist explosionsartig gestiegen
      • Auch Fragen, die man aus Verlegenheit sonst nicht gestellt hätte, können nun bequem gestellt werden
      • Ein ähnlicher Effekt wie bei ChatGPT: Ein angenehmer Gesprächspartner macht einen großen Unterschied

• AI-Prototyping-Tools

  • Der Weg von der Idee zur repräsentativen Lösung wird verkürzt
  • Früher: mehrere Schritte mit menschlicher Beteiligung (Idee formulieren → Spezifikation → Review → Design usw.)
  • Der Ansatz von Chess.com
    • AI-Prototypen für zentrale Screens wie Onboarding-Flow, Homescreen und Schachbrett erstellen
    • Einsatz von Tools wie v0, Lovable
    • unternehmensweit teilen und als Ausgangspunkt nutzen
    • Ideen schnell visualisieren, diskutieren und testen

• AI-Stack

  • PM: Vzero
  • Designer: Figma Make
  • Engineers: Cursor, Claude Code, GitHub Copilot
  • Marketing: Tools für Übersetzung, Untertitel und Content-Adaption
  • Customer Support: Intercom Fin
  • Herausforderung: Der nahtlose Übergang vom Tinkering zum Workflow ist noch ungelöst
    • Jede Funktion bevorzugt andere Tools
    • Es mangelt an Interoperabilität zwischen den Tools
    • Bis zum Produktiveinsatz sind weiterhin Übergaben zwischen Funktionen nötig
    • Verbesserungen laufen über Investitionen in Design-System-Komponenten und MCP

Der größte Monetarisierungserfolg bei Grammarly

• Hintergrund und Problemverständnis

  • Grammarly ist ein AI-gestützter Schreibassistent, verfügbar als Chrome-Erweiterung oder Desktop-Client
  • Freemium-Geschäftsmodell: Über 90 % kostenlose Nutzer, der Rest zahlende Abonnenten
  • Das Team von Kyla, PM für Subscription Conversion, war für die Verbesserung des Pfads von kostenlos zu bezahlt zuständig
  • Entdecktes Anfangsproblem
    • Es wurde nicht ausreichend erfasst, welche Arten von Vorschlägen Nutzer erhalten und wie oft sie mit der Paywall konfrontiert werden
    • Zuerst musste Instrumentation aufgebaut werden

• Zentrale Erkenntnis

  • Nur ein sehr kleiner Teil der kostenlosen Nutzer akzeptiert alle Vorschläge
    • Die meisten akzeptieren sie selektiv
  • Die reale Erfahrung kostenloser Nutzer: Grammarly ist ein Tool, das nur Rechtschreibung und Grammatik korrigiert
    • denn die kostenlosen Vorschläge konzentrierten sich auf Correctness
  • Bezahlfunktionen: empathischerer Tonfall, bessere Klarheit, Umschreiben ganzer Sätze usw.

• Lösung: Sampling bezahlter Vorschläge

  • Verschiedene bezahlte Vorschläge wurden gesampelt und über das gesamte Schreiben kostenloser Nutzer verteilt
  • So gab es einen begrenzten Vorgeschmack auf Paid Features
  • Sorge: Wenn man zu viel zeigt, sinkt die Bereitschaft zum Abo
  • Ergebnis: genau das Gegenteil
    • Nutzer nahmen Grammarly als ein deutlich leistungsfähigeres Tool wahr
    • Die Upgrade-Rate stieg auf fast das Doppelte

• Learnings zur Monetarisierung

  • Bei Freemium-Produkten sollte das kostenlose Produkt die gesamte Funktionsbreite widerspiegeln
  • Einige Paid Features verursachen zwar Kosten, doch wenn man sie bestmöglich zeigt, zahlt sich das von selbst aus
  • Das Konzept eines Reverse Trial statt einer zeitbasierten kostenlosen Testphase
    • Während des Schreibens werden in Echtzeit Verbesserungen geliefert
    • Pro Tag steht nur eine bestimmte Anzahl zur Verfügung, danach wird zurückgesetzt
  • Ein Branchenmuster wurde an den spezifischen Use Case von Grammarly angepasst

Premium- vs. Trial-Modell

• Warum man sich für ein Freemium-Abomodell entscheidet

  • Missionsorientierung: das Ziel des Gründers, das Produkt so breit wie möglich zu verbreiten
    • Duolingo (Bildung), Grammarly (Schreiben) und Chess.com (Schach) haben alle ein globales, breites Wertversprechen
    • Die niedrigste Einstiegshürde ist ein kostenloses Produkt
  • Wachstum durch Mundpropaganda: Das Produkt wächst hauptsächlich über Weiterempfehlungen
    • Aufbau von Netzwerkeffekten möglich: die Social-Features von Duolingo
    • Grammarlys B2C2B-Play: kostenlose Nutzer stoßen Käufe durch Teams oder Kollegen an
  • Das zentrale Wertversprechen wird kostenlos dauerhaft bereitgestellt, während Premium-Funktionen angeteasert werden

• Trial vs. Reverse Trial

  • Reverse Trial: stark bei B2B-Funktionen, besonders wenn es Lock-in gibt
    • Start ohne Kreditkartenangaben
    • viel Zeitinvestition in CRM-Nutzung oder Content-Aufbau
    • nach Ablauf des Testzeitraums ist die Wahrscheinlichkeit hoch, dass Nutzer dabeibleiben und zahlen
  • Normale kostenlose Testphase: häufiger bei Consumer-Produkten
    • Bei Consumer-Produkten funktioniert Reverse Trial schwerer

Der Schlüssel zum Erfolg von Consumer-Abo-Produkten

• Die Bedeutung der Nutzerbindung

  • Nutzerbindung ist Gold für Consumer-Abo-Unternehmen
  • Wenn die Bindung niedrig ist, lastet die gesamte Last auf der Zahlung am ersten Tag
    • Bezahlung der Kosten für die Nutzerakquise
    • aggressives Upselling nötig, bevor sich ein gewohnheitsmäßiges Nutzungsmuster bildet
  • Viele Apps arbeiten so, haben aber Schwierigkeiten, über die Anfangsphase hinauszukommen

• Unterschiede bei den Wachstumspfaden

  • Duolingo und Chess.com: auf organischer Mundpropaganda basierende Businesses
    • Wachstum durch Vergrößerung des Marktes
    • im Gegensatz zum Kampf um Marktanteile in hart umkämpften Bereichen
  • In Wettbewerbsmärkten konkurriert man mit hohen Geboten um die Nutzergewinnung

• Ziele für die Nutzerbindung

  • Bindung neuer Nutzer (D1, D7 usw.)
    • D1-Retention von 30–40 %: für eine Consumer-App ziemlich solide
    • Liegt sie deutlich darunter, wirft das Fragen zur Nutzerintention oder zur Fähigkeit auf, eine DAU-basierte Nutzung aufzubauen
  • Schwer zu erreichen, weil es viele Alternativen am Markt gibt und App-Müdigkeit besteht
  • Current User Retention (CURR): viel wichtiger
    • bei Produkten mit täglicher Nutzungsfrequenz die wichtigste Kennzahl
    • die Klebrigkeit einer bestehenden Nutzerbasis, die gewohnheitsmäßige Muster entwickelt hat
    • Aufbau täglicher Gewohnheiten mit Zinseszinseffekt über die Zeit
    • wenn ein Unternehmen reifer wird, konzentriert sich der Großteil der Energie auf Mechanismen zur Bindung bestehender Nutzer

• Die Ausnahme Grammarly

  • Nach der Installation wird Grammarly nicht jeden Tag aktiv geöffnet
  • Aktivierung, Installation und der Aha-Moment sind extrem wichtig
    • Eine einmalige Installation hält Nutzer über sehr lange Zeit
  • Es läuft beim Tippen automatisch, daher sind DAU-Statistiken nicht präzise

Die Bedeutung von wiederbelebten Nutzern

• Bestandteile von DAU/WAU

  • Bei einem reifen Unternehmen (Chess.com) sind rund 80 % der täglich/wöchentlich aktiven Nutzer aktuelle oder bestehende Nutzer
  • Der Rest verteilt sich in ähnlicher Größenordnung auf neue Nutzer und reaktivierte (wiederbelebte) Nutzer
  • Nach der Reife eines Unternehmens liegt viel Aufmerksamkeit auf neuen Nutzern, aber tatsächlich ist ihr Anteil nicht groß

• Anhäufung inaktiver und sporadischer Nutzer

  • Mit der Zeit sammeln sich zahlreiche inaktive Nutzer an
  • Sporadische Nutzer: nicht täglich, sondern ein- bis zweimal pro Woche oder ein- bis zweimal pro Monat
  • Am Ende häufen sich Hunderte Millionen ruhende Nutzer an
  • Es lohnt sich, in Wiederbelebungs-Erlebnisse zu investieren
    • neue Wege finden, sie zurückzubringen

• Duolingos Wiederbelebungsstrategie

  • Einsatz von Social Notifications
    • wenn Kontaktsynchronisierung aktiviert ist, kommt eine Push-Benachrichtigung, dass ein enger Freund mit Duolingo angefangen hat
    • das motiviert zur Rückkehr ins Produkt
  • Replacement-Mechanismus
    • vor drei Jahren Französisch gelernt, aber das meiste vergessen
    • beim erneuten Öffnen der App wird ein Einstufungstest empfohlen, um auf dem passenden Niveau einzuordnen
  • Für reife Unternehmen bieten solche Mechanismen einen ziemlich hohen ROI

Unterschiede zwischen Duolingo, Grammarly und Chess.com

• Duolingo: eine Maschine für systematisches Experimentieren

  • ein sehr konkreter und konsistenter Ansatz in der Produktentwicklung
  • Verfassen und Veröffentlichen des Green Machine Playbook
  • Unternehmensgeist
    • direkt nach dem Studium massenhafte Einstellung von intelligenten, energiegeladenen Talenten
    • Bereitstellung erstaunlicher Experimentier-Tools
    • Fokus auf die Clock Speed des Unternehmens
    • viel Kreativität und Ideengenerierung
  • Die Produkterfahrung ändert sich für jeden Nutzer mehrmals am Tag
    • auf einem ziemlich schockierenden Niveau
  • In jeder Phase des Produktentwicklungszyklus gibt es Spezifikationen und Prozesse
    • sehr strikt und konsistent betrieben
    • Produktreviews sind mit 10–15 Minuten sehr schnell

• Grammarly: Evolution von B2C zu B2B

  • begann zunächst als kostenpflichtiges Produkt für Studierende
  • wurde schrittweise zu einem Premium-Modell für alle ausgeweitet und stärker auf Professionals ausgerichtet
  • bestimmte Funktionen in bestimmten Unternehmen (Marketing-, Sales- und Customer-Support-Teams) übernehmen Grammarly in großem Umfang
  • Hinzufügen einer gemanagten Enterprise Motion
  • Alberts Rolle: Fokus auf die Consumer-Self-Serve-Motion, aber nicht isoliert, sondern eng verzahnt
    • Wachstum bei Self-Serve-Umsatz und aktiven Nutzern
    • Product-Led Sales: passende Teams/Funktionen/Unternehmen identifizieren, Nachfrage erzeugen und an den Vertrieb übergeben
  • mit dem Wechsel zu generativer AI schnelle Weiterentwicklung
    • durch die jüngsten Übernahmen von Coda und Superhuman im Wandel zu einer Produktivitätssuite
  • anders als bei Duolingo sind mehr strategische Entscheidungen nötig
  • Das Kernproduktteam treibt wiederkehrende Aktivitäten am stärksten voran
    • Häufigkeit und Qualität der Vorschläge bestimmen die Current User Retention am stärksten
    • Albert stellte zwar ein Growth-Team auf, erkannte aber dass in Wirklichkeit das Kernproduktteam führen muss
    • nach Gesprächen mit den Kernproduktverantwortlichen wurde die Verantwortung übergeben

• Chess.com: fanatische Leidenschaft für Schach

  • Die Mitarbeiter sind fanatisch leidenschaftlich in Bezug auf Schach
  • Remote-Rekrutierung weltweit, eingestellt werden nur Menschen, die Schach lieben
  • den ganzen Tag Schach spielen und Streams schauen
  • Slack explodiert ständig vor Schachzügen und Partien
  • Im Fall von Duolingo
    • es ist ein Sprachlernprodukt, aber sein ursprünglicher Geist ist Motivation
    • das Schwierigste ist Gewohnheitsbildung
    • Sprachenlernen ist das erste Mittel, Motivation und Gewohnheit sind die Superkraft
  • Im Fall von Grammarly
    • bekannt für Korrekturen von Rechtschreibung und Grammatik, aber die eigentliche Einzigartigkeit ist die Integration über zahlreiche Anwendungen hinweg
    • jetzt als AI-Superhighway in der Lage, mehr als nur Grammatikschreiben zu bieten
  • Chess.com ist zu 100 % auf Schach ausgerichtet
    • es durchdringt die Kultur, und die Menschen sind leidenschaftlich
    • ständiges Dogfooding des Produkts
    • unglaubliche Energie, das Produkt ständig zu nutzen und Ideen einzubringen

Wie AI Chess.com verändert

• Die lange Beziehung zwischen Schach und AI

  • Schach und AI sind seit fast einem Jahrhundert eng miteinander verflochten
  • Frühe Computerpioniere wählten Schach als Testfeld für Maschinenintelligenz
  • 1997 besiegte IBMs Deep Blue den Weltmeister Garry Kasparov
    • Ein schockierender Moment, der die Frage aufwarf, ob AI den Menschen ersetzen wird
    • Obwohl das 30 Jahre her ist, gibt es sie alle noch, und mehr Menschen als je zuvor spielen Schach

• Die Fähigkeiten heutiger Schach-Engines

  • Engines wie Stockfish sind den besten Großmeistern der Welt dramatisch überlegen
  • Vergleich über das ELO-Ratingsystem
    • Durchschnittlicher Schachspieler: 1.000 bis 1.500
    • Bester Großmeister (Magnus Carlsen): etwa 2.800
    • Stockfish und ähnliche Engines: etwa 3.600
  • Schach-Engines können selbst ohne wichtige Figuren wie einen Turm noch mit Topspielern konkurrieren
  • Durch ihre Rechenleistung führen sie zig Millionen Berechnungen pro Sekunde aus, daher können Menschen nicht mithalten
  • Beim Beobachten von Schach-Engines eröffnen sich neue Kreativität, Strategien, Varianten und eine neue Wertschätzung des Spiels

• Der Ansatz von Chess.com beim Einsatz von AI

  • Diese Technologie wird allen Nutzern bereitgestellt, einschließlich Menschen, die gerade erst ihren ersten Zug gemacht haben
  • Das Produkt Game Review: Im Hintergrund läuft eine Schach-Engine und erstellt Bewertungen für jeden Zug
  • Die Ergebnisse werden den Nutzern in übersetzter und zugänglicher Form präsentiert
    • in der Muttersprache des Nutzers
    • auch als Audio
  • Einsatz von LLMs: für den Teil, der Persönlichkeit und Tonfall an den Nutzer vermittelt
  • Zentrales Prinzip: Der Kunde steht an erster Stelle
    • LLMs werden nicht nur deshalb eingesetzt, weil sie gerade im Trend sind
    • Die richtige Technologie wird auf die richtige Funktion angewendet, um den Nutzern Mehrwert zu bieten
    • Man lässt sich nicht vom Hype treiben

• Die Schachfähigkeiten von LLMs

  • Überraschenderweise spielen LLMs für sich genommen sehr schlecht Schach
  • Es kommt zu Halluzinationen; sie erkennen zwar Bewegungsmuster gut, können aber keine sehr tiefgehenden Schachanalysen durchführen
  • Wenn man ChatGPT ein Bild eines Schachbretts erstellen lässt, stimmt oft die Anzahl der Felder nicht oder die Stellung ist ungeeignet
  • Es wird erwartet, dass sich ihre Reasoning-Fähigkeiten verbessern
  • Google hat kürzlich ein Turnier gesponsert, in dem alle führenden LLMs gegeneinander spielten
    • Sie verbessern sich, aber im Schach sind trainierte Deep-Computing-Engines LLMs deutlich überlegen

• AlphaZero und AlphaGo

  • Die AlphaGo-Dokumentation vermittelt technisch anspruchsvolle Inhalte auf emotionale und menschliche Weise
  • Das Trainingsverfahren von AlphaZero: Es spielt unzählige Partien gegen sich selbst
    • Über neuronale Netze wird es jedes Mal intelligenter
    • Durch Wiederholungen in Milliarden bis Billionen Durchläufen wird es extrem versiert

Wie AI die Growth-Rolle verändert

• Definition von Growth

  • Die Aufgabe von Growth besteht darin, Nutzer mit dem Wert des Produkts zu verbinden
  • Teams werden entlang der User Journey und ihrer einzelnen Elemente aufgestellt
    • Jedes Team hat eigene Zielmetriken und eine Roadmap
    • Es arbeitet auf diese Ziele hin
  • AI kann einzelne Teile des Experimentierzyklus beschleunigen

• Einsatz von AI in der Product Discovery

  • Das Kernprodukt erfordert längere Zeithorizonte und gründliche Nutzer- und Marktforschung
  • Growth führt viele Experimente durch, und das Ergebnis jedes Experiments dient als Input für die nächste Idee
  • Bisheriger Ansatz: Analysedokumente wurden manuell erstellt
    • lesen und Erkenntnisse herausarbeiten
    • Ideen in andere Spezifikationen übersetzen
  • Einsatz von AI
    • Mit Tools wie ChatGPT Analysen anderer Personen zusammenfassen
    • Ratschläge zu Ideen geben, die man ausprobieren könnte
    • Der Zyklus aus Ideenfindung und Recherche ist deutlich schneller
  • Auch Prototyping wird dramatisch verkürzt
    • PMs sind aber noch nicht an dem Punkt, direkt Code in Production zu deployen
    • Besonders die Zeit, um kühne Ideen zu entwerfen, wird stark verkürzt

• Auswirkungen auf Exploration und Exploitation

  • Früher war Exploration schwieriger
  • Heute ist Exploration viel einfacher geworden
    • Breite Konzepte lassen sich visualisieren
    • Nach der Visualisierung kann das Team darüber diskutieren und sich durchklicken
    • Das macht einen weltverändernden Unterschied

Tipps, um Experimente zu skalieren

• Erster Tipp: Einfach anfangen

  • Laut Atlassians Bericht zum Produktstatus führen 40 % der Produktteams überhaupt keine Experimente durch
  • Das ist aus philosophischen Gründen oder bei B2B-Fokus nachvollziehbar
  • Aber bei einem Consumer-Produkt mit einer gewissen Größe und Frequenz
    • lassen sich genügend Daten sammeln
    • liegt man trotz viel Erfahrung oft falsch
    • das Verhalten von Konsumenten ist sehr sprunghaft
    • wenn man im Unternehmen arbeitet, wird man ganz natürlich zum Power User und vergisst die Erfahrung neuer Nutzer
  • Es wird empfohlen, den ersten Schritt zu machen
    • A/B-Tests durchführen
    • Drittanbieter-Tools finden und schnell integrieren
    • zusammen mit Engineers etwas bauen
    • das Crawl-Walk-Run-Prinzip anwenden

• Bevorzugte Tools

  • Bei Grammarly wird StatSig verwendet (kürzlich übernommen)
  • Duolingo und Chess.com verfügen über eigene Inhouse-Experimentier-Tools
  • Es gibt Vor- und Nachteile
    • Bei Duolingo ist das maßgeschneiderte Tool ein großer Beschleuniger, weil dort so intensiv experimentiert wird
  • Im Allgemeinen wird nicht empfohlen, von Anfang an Inhouse zu bauen
    • Ab einer bestimmten Größe kann es sinnvoll sein
    • Diese Unternehmen wurden vor 15 Jahren gegründet, als es solche Tools noch nicht gab

• Zweiter Tipp: Das System ist genauso wichtig wie einzelne Experimente

  • Das System ist genauso wichtig wie einzelne Experimente, vielleicht sogar wichtiger
  • Man sollte mit einem Growth-Modell beginnen
    • verstehen, wie das Unternehmen wächst
    • herausfinden, welche Kanäle genutzt werden sollen
  • Produkt-Instrumentierung ist essenziell
    • sonst wirken die Experimentergebnisse merkwürdig
  • Praxisbeispiel: In einem Unternehmen wurde ein Inhouse-Experimentier-Tool verwendet
    • nach drei Monaten stellte sich heraus, dass die User Retention spiegelverkehrt konfiguriert war
    • alle positiven Ergebnisse waren in Wahrheit negative Ergebnisse
    • das war äußerst peinlich und wird nie wieder passieren

• Dritter Tipp: Erkenntnisse teilen und verbreiten

  • Wenn man ein Experiment mit großem Erfolg oder großem Misserfolg entdeckt
    • sollte es im gesamten Unternehmen klar kommuniziert werden
    • Hypothese und Erkenntnisse sollten klar formuliert sein
    • der ursprüngliche PM muss nicht selbst alle Anwendungsmöglichkeiten finden
  • Als Growth-Leader sollte man andere dazu ermutigen, sich gebündelt (Swarm) auf Ideen zu stürzen
    • die Erfolgsquote steigt
    • die Wirkung nimmt zu

Ziel: 1.000 Experimente pro Jahr

• Die Experimentierreise von Chess.com

  • Vor 2023: fast keine Experimente
  • Letztes Jahr: rund 50
  • Dieses Jahr: rund 250 laufen
  • Ziel für nächstes Jahr: 1.000

• Die wahre Bedeutung des Ziels

  • Das Ziel wurde von Albert gesetzt, aber die Zahl selbst ist nicht der Zweck
  • Der eigentliche Wert eines Ziels besteht darin, Gespräche darüber auszulösen, was dafür wahr sein muss
  • Erkenntnisse für das Erreichen des Ziels
    • Es sind nicht nur PMs oder das Engineering, die experimentieren
    • Lifecycle-Marketing: Experimente mit Push-Benachrichtigungen und E-Mail-Texten
    • App Store: Experimente mit Screenshots, Keywords usw.
    • Content-Marketing-Team und weitere
    • No-Code auf bestimmten Screens ohne Engineering-Support aktivieren
      • viele konfigurierbare Tests auf dem Home-Screen oder dem Pricing-Screen
    • Fortschritte nachverfolgen und Observability sicherstellen
  • Wichtiger als tatsächlich 1.000 zu erreichen, ist es, diese Dinge zu erreichen
  • Wenn man fast dorthin kommt und diese Dinge erreicht, ist man in einer sehr guten Position

Wege zum Kulturwandel

• Der dramatische Kulturwandel bei Chess.com

  • Von 0 Experimenten auf 1.000 nach zwei Jahren (etwa 3 pro Tag)
  • Viele Teams führen Experimente parallel durch

• Erfolgsfaktoren für den Kulturwandel

  • Unterstützung durch die Führung

    • Großer Verdienst von CEO und den Mitgründern Eric und Danny
    • Experimente entsprachen nicht ihrer intuitiven Denkweise
    • Durch geistige Flexibilität und Ermutigung wurden sie als Werkzeug ergänzt
    • Sie warben an vorderster Front für Product-Led Growth und Experimente
    • Es ist sehr wichtig, nicht in Gegensatz zu den Gründern und dem bestehenden Ansatz zu geraten

  • Konkrete Erfolgsgeschichten teilen

    • Wie bei den Beispielen zu Spiel-Reviews und Positivität muss man zeigen, was in der Praxis funktioniert
    • Es braucht Wins: feiern und dafür sorgen, dass Menschen sich beim Lernen gut fühlen
    • Wenn das breit angewendet wird, schöpfen alle neue Energie
    • Kennzahlen bewegen sich, und man lernt und shippt schneller
    • Es reicht nicht, Ziele nur top-down vorzugeben
    • Menschen müssen sehen, dass etwas funktioniert

  • Frühe Experimente

    • Schon vor Alberts Einstieg liefen einige Experimente
    • Man war bereits auf Kurs

Weitere Learnings aus Experimenten

• Erfolgsbeispiel von Duolingo

  • Streaks und Immersion

    • Jackson hat das im Podcast besprochen
    • Lerneffekt durch Immersion und die Anzeige von Streaks im Kalender
    • Wichtiger als große Meilensteine ist es, überhaupt anzufangen

  • Das Virality-Team

    • Virality ist ein sehr vages Konzept und im Produkt nur schwer zu erzeugen
    • Duolingo ist ein Produkt, das ziemlich häufig geteilt wird
    • Investition in Screenshot-Tracking
      • Hotspots finden, an denen Nutzer in der App Screenshots machen
      • Wege finden, das auch in anderen Apps zu sehen
      • Nur für einen bestimmten Zeitraum betrieben
    • Entdeckte Sharing-Hotspots
      • Streak-Meilensteine: offensichtliche Sharing-Momente
      • Sehr unterhaltsame Challenges: sehr hohe Sharing-Rate
      • Ein Einzug in die Top 3 des Leaderboards ist kein Sharing-Moment
    • Illustratoren und Animatoren genau auf diese Momente ansetzen
    • Ein sehr freudiges Erlebnis schaffen
    • Ergebnis: funktionierte überraschend gut
    • Learning: Teilen nicht gegen die menschliche Intuition erzwingen
      • Die Momente finden, in denen Nutzer ohnehin organisch Screenshots machen
      • Diese Momente sehr viel besser machen
      • Um das 5- oder 10-Fache verstärken und so viel Wachstum auslösen

Die drei Säulen der Gamification

• Jorges Gamification-Modell

  • Gamification-Muster bestehen im Kern aus drei Säulen

  • 1. Core Loop

    • Duolingo: Fortschritt in Lektionen
      • Lektion abschließen → Belohnung erhalten → Streak verlängern
      • Push-Benachrichtigung am nächsten Tag
    • Wichtig ist, den Core Loop sehr eng zu gestalten
      • Es braucht Gewohnheiten, an denen die Menschen festhalten

  • 2. Metagame

    • Duolingo: Pfad, Leaderboard, Achievements
    • Dinge, auf die man langfristig hinarbeitet
    • Bietet langfristige Motivation, aktiv zu bleiben

  • 3. Profil

    • Mit der Zeit ein Profil aufbauen
    • Spiegelung der Investition in das Produkterlebnis
    • Wenn diese drei Elemente stehen, steigt die Chance auf eine erfolgreiche langfristige Lernreise

• Die Herausforderung bei neuen Chess.com-Nutzern

  • Mehr als 75 % der neuen Nutzer werden als komplette Anfänger oder Einsteiger eingestuft
  • Für Anfänger machen Live-Spiele keinen Spaß
    • Daten: Gewinnquote im ersten Spiel unter 1/3
    • Bei einer Niederlage im Spiel verschlechtert sich die Nutzerbindung um 10 %
    • In großem Maßstab ist das schlecht
  • Typischer Ansatz in Mobile Games: eine stark vereinfachte Version erstellen
    • Bei Schach ist das schwieriger (Regeln lassen sich nicht ändern)

• Die Bedeutung der frühen Lernphase

  • Ob Sprachenlernen oder Schach: Die ersten Schritte sind voller Selbstzweifel
  • Erfahrungen verstärken das Gefühl, dass man es nicht kann
  • Es lohnt sich, bewusst Erlebnisse zu gestalten, die Nutzer durch diese Phase hindurchführen

• Die Lösung von Chess.com

  • Wenn jemand völliger Anfänger ist, wird ein spielerischeres und angenehmeres Lernerlebnis geboten
    • Man wird nicht sofort in Live-Spiele geworfen
  • Während der ersten 5 Spiele wird die Wertung verborgen
    • Damit man den abrupten Absturz der Bewertung nicht sieht
  • Verschiedene Wege wie Spielen mit Coach, mit Freunden oder mit Bots
  • Echtzeit-Hinweise: Beim Spielen gegen echte Menschen Anleitung, wohin gezogen werden sollte
    • Hilft dabei zu gewinnen

Kontraintuitive Learnings zum Teambuilding

• Traditioneller Recruiting-Ansatz

  • Eine JD (Job Description) schreiben
    • Verschiedene gesuchte Eigenschaften auflisten
  • Eine Shortlist von Unternehmen erstellen, die dem eigenen ähneln
  • Versuchen, von dort Leute einzustellen
  • Der typische Standardweg in der Branche

• Alberts Erkenntnis: High Agency

  • Erkenntnis aus mehreren kleinen Startups und der Erfahrung bei Duolingo
  • Merkmale der Top-Performer
    • Sehr hohe Agency
    • Clock Speed: schnelles Denken und Handeln
    • Energie
    • Interesse an der Mission, aber tiefe Erfahrung ist nicht zwingend nötig
  • Erfahrung kann sogar zu einer Crutch werden
    • Besonders in einer Welt, deren Fundament sich durch AI schnell verändert
    • Viele antrainierte Gewohnheiten muss man bewusst ablegen
    • Es braucht einen Beginner's Mind
  • Nach Menschen suchen, die schnell reagieren und handeln
  • Hohe Lerngeschwindigkeit
  • Solche Unternehmen werden überleben und florieren

• Woran man High Agency erkennt

  • Vieles passiert außerhalb des eigentlichen Interviewprozesses
  • Signale
    • Art der Fragen: Hat die Person das Produkt wirklich ausprobiert und sich tief damit beschäftigt?
    • Referenzen
    • Kommunikation zur Organisation des Interviews
    • Die Energie, die jemand ins Gespräch einbringt
  • Man kann viele weiche Signale erfassen
  • Mit der Zeit erkennt man diese Muster
  • Früher achtete man nur auf Fragen und Rubriken und ignorierte den Rest
  • Heute werden diese Dinge viel ausgewogener berücksichtigt
  • Es gibt einen Vibes-Faktor
  • Befürwortung von Work-Trial-Interviews
    • Statt reiner Gesprächsinterviews etwa eine Woche lang tatsächlich zusammenarbeiten

Auswahl der Unternehmensgröße

• Alberts Goldilocks Zone

  • Erfahrungen von Google (Großkonzern) bis hin zu sehr kleinen Startups
  • Den für ihn passenden Ort gefunden: mittlere Größe

• Merkmale je nach Unternehmensgröße

  • Großkonzern (Google)

    • Mit enormem Maßstab arbeiten
    • Viele Best Practices von Kollegen lernen
    • Zugriff auf alle gewünschten Tools und Funktionen
    • Aber mit der Tendenz, sich langsam zu bewegen
    • Es ist schwer, Dinge zu deployen und zu launchen
    • Und am Ende macht es einen ein bisschen verrückt

  • Sehr kleines Startup

    • Bewegt sich sehr schnell
    • Aber alle grauen Haare von Albert kommen von dort
    • Niemand kennt das Unternehmen
      • Leute eine Person nach der anderen einstellen
      • Nutzer einen nach dem anderen gewinnen
    • Man kann schnell lernen und viel ausliefern, aber
    • Wenn man großen Einfluss auf die Welt haben will, kann es sehr hart sein
    • Manche hyperskalieren und werden erfolgreich, aber
    • Albert hat diesen Weg eine Zeit lang versucht, doch er passte nicht zu ihm

  • Mittlere Größe (500–1.000 Mitarbeiter)

    • Man kann einen Beitrag mit echtem Maßstab leisten und zugleich
    • mit täglicher und wöchentlicher Geschwindigkeit umsetzen
    • Man kann die unternehmensweiten Anstrengungen sehen und zugleich
    • in die Details einsteigen
      • Versuchsergebnisse lesen
      • Pixel prüfen
      • mit bestimmten Teams zusammenarbeiten
    • 10 bis 20 Jahre altes Unternehmen
      • belastbar und idealerweise profitabel
      • gutes Führungsteam
      • es gibt noch viele Dimensionen zu entdecken
      • befindet sich an einem wichtigen Wendepunkt
      • nicht stagniert, sondern dynamisch

• Die optimale Phase ist für jeden anders

  • Jeder hat eine Unternehmensphase, in der er am stärksten glänzt
  • Alberts Weg: großer Tech-Konzern → sehr kleines Startup → mittlere Größe
  • Die Mitte ist seine Goldilocks Zone

Die Ecke des Scheiterns: der Fall Chariot

• Hintergrund

  • Pendler-Shuttle-Service in San Francisco
    • 15-Sitzer-Shuttles
    • fuhren aus verschiedenen Vierteln in die Innenstadt von San Francisco
  • Die Mitte zwischen öffentlichem Bussystem und Uber/Lyft
  • Albert arbeitete dort als Head of Product
  • Der Kerndienst wurde von den Nutzern sehr geliebt
    • zuverlässig, schnell und günstig genug

• Der gescheiterte Versuch: Chariot Directly

  • Idee: die Auslastung durch dynamische Routen verbessern
    • innovativer machen, ähnlich wie Uber/Lyft
  • Fahrer fuhren feste Routen, aber
    • wenn sie Spielraum hatten, konnten sie die Route verlassen und Fahrgäste zu Hause abholen
  • Wurde versucht, hat aber am Ende nicht funktioniert

• Die Lehren daraus

  • 1. Die Lösung sucht sich das Problem

    • Man jagte dem Gedanken „Wäre das nicht cool?“ hinterher
    • statt: „Das sind unsere Nutzer und das ist das Problem, das wir lösen“
    • statt: „Darum wird sie das begeistern“
    • Man sollte nicht bei der Lösung statt beim Problem anfangen

  • 2. Einen zweiseitigen Markt berücksichtigen

    • Es gibt mehr als eine Endnutzergruppe
    • Zu starker Fokus nur auf die Fahrgast-App
    • Man erkannte nicht, dass Fahrer einen großen Teil der Last der Experience tragen
    • Für das Operations-Team galt das genauso
    • Wenn Fahrer verwirrt oder unzufrieden sind,
      • kann die gesamte Produkterfahrung schwierig werden

  • 3. Das Risiko von PR vor der Validierung

    • Vor dem Launch wurde viel PR gemacht, um Aufmerksamkeit zu erzeugen
    • PR hat ihren Zeitpunkt und ihren Platz
    • Aber es ist sehr riskant, das vor der Validierung zu tun, dass Kunden es wirklich wollen
    • Nach dem Launch entsteht viel Sunk Cost
      • man muss es zu Ende bringen
      • man will Erfolg sehen

• Rückblick

  • Ist 10 Jahre her, aber er erinnert sich noch sehr lebhaft daran
  • Er hatte eine gute Zeit im Unternehmen
  • Es stecken mehr als drei zentrale Lehren darin
  • Lehren, die er später beim Aufbau vieler Produkte weitergegeben hat

Lightning Round

• Buchempfehlungen

  • Was er gerade liest

    • Er hat ein vierjähriges und ein einjähriges Kind und liest deshalb meistens Kinderbücher
    • Snuggle Puppy: Es gibt ein Lied dazu, seine Tochter lacht laut, und es wärmt einem das Herz

  • Empfehlung für die Arbeit: Ogilvy on Advertising

    • Ein 40 Jahre altes Buch, aber voller praktischer Beispiele
    • Über Copy und Kreativität
    • Alte Werbung, aber mit einem experimentorientierten Ansatz
    • Was letztlich zählt: Nutzer zum Handeln bewegen
    • Ziel ist der Kauf des Produkts
    • Nicht clevere Werbung oder sexy Kreativität
    • Sehr treffend für Produkt- und Lifecycle-Teams

  • Dark Squares

    • Memoiren von Danny Wrench, Mitgründer von Chess.com
    • In der Schachwelt sehr bekannt
    • Die Geschichte, wie er in einem missbräuchlichen Kult aufwuchs und ein Schach-Wunderkind war
    • Eine unglaubliche Geschichte
    • Er ist gerade etwa zur Hälfte durch
    • Eine Erinnerung daran, wie tief die Vergangenheit der Menschen, mit denen man arbeitet, sein kann
    • Bedeutet zugleich die dunklen Felder des Schachbretts und eine schwierige Vergangenheit
    • Soll zum Zeitpunkt der Veröffentlichung dieses Podcasts erscheinen

• Lebensmotto

  • Ein Ausspruch seiner Mutter: „Nichts ist wichtiger als der Ruf.“
  • Wohlwollendes Verständnis
    • die kleinen Entscheidungen, die man jeden Tag trifft
    • wie man Menschen behandelt
    • wie man auftritt
    • was für einen Charakter man hat
  • All das akkumuliert sich wie Zinseszins und öffnet auf erstaunliche und wunderbare Weise Türen
  • Zu vielen Unternehmen kam er über relativ lose Verbindungen
  • Auch auf diesen Podcast wurde er aufmerksam, weil dort Leute auftraten, mit denen er zusammengearbeitet hatte
  • Wenn man das Richtige tut und sich einen guten Ruf aufbaut, kann das einen weit bringen
  • Die Kehrseite: Ein Ruf ist fragil
    • Wenn man etwas Falsches tut, dauert es lange, ihn wiederherzustellen
  • Ein interessantes Lebensmotto, das ihm sein ganzes Leben im Kopf geblieben ist

Kernaussage

• Die Erkenntnis: Es ist wichtig, der tatsächlichen Erfahrung treu zu bleiben
  • Viele Lehren kommen aus den Versuchen anderer
  • Als mentaler Schwamm fungieren
  • Verschiedene Dinge ausprobieren
  • Aufsaugen und sofort anwenden
  • Was nicht funktioniert, verwerfen und sich an die Anforderungen des Unternehmens weiterentwickeln

[t7vonn]

Das erinnert mich an jemanden von dem Messenger-Unternehmen, das kürzlich in die Kontroverse geraten ist ..