Eigene AI-Modelle trainieren

• PostHog versucht nach dem AI installation wizard, PostHog AI und MCP, Modelle mit internen Daten zu trainieren, um aktivere und autonomere Produkte zu bauen
• Das Hauptziel ist PostHog Code, das die Produktausrichtung unterstützt, Antworten und Lösungen stellvertretend zu finden und auszuführen und sich im Laufe der Zeit zu verbessern
• Durch die Verbesserung von Session-Replay-Analysen, synthetischen Nutzertests und der Vorhersage von Nutzerverhalten sollen die Kosten zur Problemerkennung gesenkt und Fehler sowie Verwirrungspunkte vor dem Deployment gefunden werden
• Die Trainingsdaten werden anonymisiert, es werden nur Daten verwendet, die sich bereits in der PostHog-Instanz befinden, und sie werden nicht an Drittanbieter von Modellen verkauft oder gesendet
• EU-Cloud und Kunden mit Verträgen, die Training einschränken, sind standardmäßig ausgenommen, die US-Cloud ist standardmäßig eingeschlossen, und Nutzer können sich vor dem 29. Juni dagegen entscheiden

---

PostHogs Plan zum Training eigener AI-Modelle

• PostHog hat im letzten Jahr AI-Funktionen wie den AI installation wizard, PostHog AI und MCP zum Produkt hinzugefügt und will künftig aktivere und autonomere Produkte bauen
• PostHogs nächstes Kapitel zielt auf Produkte ab, die Antworten und Lösungen im Namen der Nutzer finden und ausführen und sich mit der Zeit verbessern
• PostHog Code, derzeit in der Beta, ist das Kernprodukt dieser Ausrichtung, und um das zu ermöglichen, will PostHog Modelle mit internen PostHog-Daten trainieren

Funktionen, die PostHog bauen möchte

• Ziel ist es, bestehende Produkte intelligenter und aktiver zu machen und Teams mit neuen Produkten wie PostHog Code dabei zu helfen, schneller bessere Produkte zu entwickeln

• Session-Replay-Analyse

  • PostHog AI kann bereits Probleme in Replays erkennen, aber die Kosten sind hoch, sodass sich das nicht gut auf großen Maßstab ausweiten lässt
  • Um Replays auch im großen Maßstab so wirkungsvoll einzusetzen wie bei der Diagnose einzelner Nutzerprobleme, wird ein auf den zugrunde liegenden Daten der Replays trainiertes Modell benötigt

• Synthetische Nutzertests

  • Synthetische Nutzertests sind die Idee, Wissen über Nutzerverhalten zu nutzen, um Stellen zu finden, an denen Nutzer verwirrt sein könnten oder Abläufe vor dem Produktions-Deployment kaputtgehen könnten
  • Mit der Verbesserung von Coding-Modellen nehmen Test- und Review-Aufgaben stark zu, und PostHog will diese Arbeit automatisieren, damit sich Nutzer auf das Produkt selbst konzentrieren können

• Vorhersage von Nutzerverhalten

  • Wenn die Vorhersage von Nutzerverhalten besser wird, können auch bei bereits ausgerollten Funktionen Änderungen vorgeschlagen werden, die die Conversion erhöhen und Nutzerfrust verringern
  • Wenn das automatisiert werden kann, sinkt die Zeit für manuelle Analysen, und auch die dabei verbrauchten Tokens werden weniger
  • Diese Ideen sind noch experimentell, und es wird Iterationen brauchen, um herauszufinden, wie sich Modelle effektiv trainieren lassen und welche Daten tatsächlich nützlich sind
  • PostHog stützt diesen Versuch darauf, dass AI gute Ergebnisse geliefert hat, wenn sie Produkte einfacher oder leistungsfähiger gemacht hat

Funktionsweise und Grundsätze zur Datennutzung

• Dieser Plan konzentriert sich darauf, bestehende Funktionen leistungsfähiger zu machen und Funktionen bereitzustellen, die das Produkt aktiver verbessern
• Viele Tools konzentrieren sich darauf, den besten Code zu liefern, aber PostHog will sich darauf konzentrieren, das eigentliche Produkt der Nutzer besser zu machen
• Deshalb bezeichnet PostHog PostHog Code als Product Editor
• Die zentrale Sorge ist, dass Daten aus PostHog für das Modelltraining verwendet werden; PostHog will das offen kommunizieren und nicht in einer Aktualisierung der Nutzungsbedingungen verstecken

• Standardmäßige Anwendung

  • Nutzer von EU-Cloud-Instanzen sind standardmäßig ausgeschlossen
  • Nutzer mit Verträgen, die Training verhindern, etwa BAA, MSA oder ähnliche Vereinbarungen, sind ebenfalls standardmäßig ausgeschlossen
  • Alle übrigen Nutzer von US-Cloud-Instanzen sind standardmäßig eingeschlossen

• Datenverarbeitung und Einschränkungen

  • Vor der Nutzung für das Training werden alle Daten anonymisiert
  • Es werden nur Daten verwendet, die bereits in der PostHog-Instanz der Nutzer vorhanden sind
  • Das Modelltraining wird direkt von PostHog durchgeführt
  • Nutzerdaten werden nicht an Drittanbieter von Modellen verkauft oder gesendet

• Opt-out

  • Nutzer können sich jederzeit in den Organisationseinstellungen von PostHog dagegen entscheiden
  • Für Änderungen an den Organisationseinstellungen sind Admin-Rechte erforderlich
  • Das Training beginnt erst am 29. Juni, sodass Nutzer Zeit für eine Entscheidung haben

Kommunikationsplan

• PostHog will allen Kunden eine E-Mail senden, in der der Zweck klar benannt wird
• Für Nutzer, die E-Mails nicht lesen, werden außerdem alle Nutzer per In-App-Benachrichtigung informiert
• Der Plan wird auf offene und öffentliche Weise bekannt gemacht
• Ziel ist es, das PostHog-Produkt für Kunden zu verbessern, nicht ein mit Nutzerdaten trainiertes Modell offenzulegen oder zu verkaufen oder die Daten zu monetarisieren

Warum Opt-out statt Opt-in

• Der Grund für standardmäßig eingeschlossen mit Opt-out statt eines standardmäßigen Opt-in ist, dass sonst nicht genügend Daten zusammenkämen, um ein tatsächlich nützliches Modell zu trainieren
• Wer sich dagegen entscheidet, kann die neuen Funktionen, die mit diesen Modellen entstehen, nicht nutzen
• Nutzer, die standardmäßig ausgeschlossen sind, etwa bei EU-Cloud-Instanzen, können sich manuell anmelden, sofern ein rechtlicher Vertrag mit PostHog das nicht verhindert
• PostHog hat sich dafür entschieden, das nicht still auszurollen, sondern vorab offenzulegen
• PostHog stellt auch AI-Forscher ein, um an dieser Arbeit mitzuwirken

[GN⁺]

Hacker-News-Kommentare

• „Standardmäßiges Opt-in“ ist ein Widerspruch. Wenn es die Standardeinstellung ist, habe ich nicht zugestimmt, sondern es ist einfach standardmäßig aktiviert

  • Genau das ist auch frustrierend. Opt-in bedeutet, dass man standardmäßig nicht einbezogen ist und sich auf Wunsch dafür entscheiden kann.
    Opt-out bedeutet, dass man standardmäßig einbezogen ist und auf Wunsch aussteigen kann, aber heutzutage wird es umgekehrt verwendet, sodass man es extra erklären muss.
    Ich habe früher sogar einen Beitrag über tatsächlich korrektes Opt-in-Telemetrie gesehen, bei dem der Top-Kommentar ihn missverstand und als „standardmäßig einbezogen“ angriff. Es fühlt sich inzwischen so an, als hätte dieses Wort fast schon die gegenteilige Bedeutung bekommen
  • „Standardmäßiges Opt-in“ ist einfach Opt-out. Man kann einfach den bereits existierenden Begriff verwenden
  • Es ist wirklich großartig, dich standardmäßig „zustimmen“ zu lassen
  • Stimmt. Ich hatte PostHog in Betracht gezogen, aber so eine Formulierung wirkt extrem irreführend und macht es mir unsympathisch
  • CEOs und ähnliche Leute reden immer nur in geschickten Wortspielereien

• PostHog war ein System, das man einmal einrichtet, gelegentlich überprüft und aus dem man etwas Nutzen zieht, und es war größtenteils harmlos, wenn man es einfach laufen ließ.
  Jetzt ist es aber wieder ein weiteres Tool geworden, dem man aktiv misstrauen muss, und wenn sich die Standards in eine unerträgliche Richtung bewegen, ist es einfacher, es einfach aus dem System zu werfen und weiterzumachen

  • PostHog war dank des Developer-first-Ansatzes, guter Tools und vernünftiger Preise eine großartige Analytics-Lösung.
    Ich kann inzwischen nicht mehr zählen, wie oft ich in den letzten 20 Jahren erlebt habe, dass erfolgreiche Unternehmen sich mit dem Wachstum verändern. Im AI-Hype ist auch PostHog mit voller Kraft hineingesprungen und scheint sogar Dinge wie No-Code-Tools zu erkunden.
    Supabase war auch mal großartig, fühlt sich jetzt aber ebenfalls so an, als wäre es in den AI-Abgrund abgetaucht. Vielleicht bin nur ich derjenige, der sich nicht verändert, und vielleicht bin ich das Problem und sollte die neuen AI-Herrscher akzeptieren und komplett auf AI umsteigen

• Die meisten Unternehmen hätten so eine Änderung in einem langweiligen Update der Geschäftsbedingungen versteckt, aber wir legen Wert auf Transparenz und veröffentlichen daher das, was man wissen muss, in einer internetfreundlichen nummerierten Liste.
  Nutzer von EU-Cloud-Instanzen sind standardmäßig ausgeschlossen, ebenso Nutzer mit Verträgen, die Training verhindern.
  Alle anderen Nutzer von US-Cloud-Instanzen sind standardmäßig einbezogen.
  Vor dem Training würden alle Daten anonymisiert, es würden nur Daten verwendet, die sich bereits in der PostHog-Instanz befinden, und das Modelltraining werde intern durchgeführt, sodass keine Daten an Drittanbieter von Modellen verkauft oder weitergegeben würden.
  Man könne sich jederzeit in den Organisationseinstellungen abmelden, dafür seien Administratorrechte nötig, und das Training beginne nicht vor dem 29. Juni, also gebe es genügend Zeit für eine Entscheidung

  • „Alle anderen Nutzer von US-Cloud-Instanzen sind standardmäßig einbezogen“ – wie schön. Das heißt, das Unternehmen entscheidet, worin der Nutzer „eingewilligt“ hat, und Input vom Nutzer ist nicht nötig.
    Dann trage ich dich dieses Wochenende auch gleich als „freiwillig“ dafür ein, beim Wiederaufbau meiner Terrasse zu helfen. Keine Sorge, ich habe das Freiwilligsein für dich übernommen
  • Wenn dein Geschäftsmodell darauf beruht, dass „wir alle einbeziehen, weil wir wissen, dass sonst nicht genug Daten zusammenkommen, wenn die Nutzer selbst zustimmen müssten“, dann ist es vielleicht Zeit, noch einmal grundsätzlich nachzudenken
  • So etwas wie standardmäßiges Opt-in gibt es nicht. So Kundenvertrauen zu verbrennen, ist eher etwas, das sich Unternehmen mit viel größerem Marktanteil und stärker gebundenen Kunden leisten können.
    Man hätte den Zustimmenden lieber einen Rabatt geben sollen
  • Die Verteidigung „Wir legen Wert auf Transparenz“ wirkt ziemlich schwach. Es ist gut, das transparent mitzuteilen, aber ich möchte nicht, dass mein Analytics-System Code schreibt.
    Es gibt bereits viele etablierte Anbieter, die das besser können, und ich würde so etwas lieber an die PostHog-Analytics anbinden
  • Bei „wir anonymisieren alle Daten vor dem Training“ ist entscheidend, was genau hier mit Anonymisierung gemeint ist. Nach GDPR-Maßstäben liegt die Hürde dafür sehr hoch.
    Man müsste prüfen, ob „alle anderen Nutzer von US-Cloud-Instanzen sind standardmäßig einbezogen“ auch EU-Endnutzer einschließt. Da die personenbezogenen Daten direkt bei den betroffenen Personen erhoben wurden, gelten die Informationspflichten nach Artikel 13 GDPR.
    Ein Versäumnis bei Artikel 13 kann man später nicht rückwirkend heilen. Man müsste nachweisen können, dass allen Kunden eine ausreichende Information nach Artikel 13 erteilt wurde, die diese Verarbeitung abdeckt. Und es fällt mit ziemlicher Sicherheit in den Anwendungsbereich von 3(2)(b)

• Eine hervorragende Erinnerung daran, dass ich mein Analytics-Tool wohl selbst bauen und selbst hosten sollte. PostHog hat einen Kunden verloren.
  Es wäre leicht gewesen, jedem Kunden eine E-Mail zu schicken und zu fragen, ob er das möchte, aber solche Annahmen zeigen fehlendes Produktgespür – nicht nur gegenüber den eigenen Kunden, sondern auch gegenüber deren Kunden. Tschüss

  • Nicht sarkastisch gemeint, aber warum nicht einfach Opt-out wählen, statt eine eigene Analytics-Plattform per „Vibe Coding“ zu bauen?
    Dass meine Daten für AI-Training genutzt werden, finde ich unangenehm, aber meine Hauptsorgen sind, wohin die Daten gehen und ob ich informiert bin und es weiß. PostHog gibt auf diese Fragen hier eigentlich ganz vernünftige Antworten

• Ich habe in den letzten Monaten gezögert, ob ich wechseln soll, aber die neuen AI-Produkte und die merkwürdige UI haben mich ständig gestört. Das ist der letzte Nagel im Sarg.
  Ich halte Opt-in für ein furchtbares Geschäftsmodell

  • Stimme zu. Es stört mich nicht genug, es aus einem bestehenden Produkt herauszureißen, aber zu einem neuen Produkt würde ich es niemals hinzufügen.
    Ich erinnere mich noch daran, wie Leute das Web-Redesign von „OS“ bejubelt haben. Es war die verwirrendste und unnötigste UX-Verkomplizierung, wenn man Session-Replays zum Debuggen finden wollte. Später haben sie immerhin wieder eine Navigation oben rechts hinzugefügt

• Ist „standardmäßiges Opt-in“ am Ende nicht einfach Opt-out?

  • Opt bedeutet, dass man wählt oder sich für eine Alternative entscheidet. Diese Leute sind entweder inkompetent oder lügen absichtlich

• Inzwischen ist es ziemlich klar, aber zu Unternehmen mit dieser Stimmung von „SF-artiger Schrulligkeit“ muss man etwas sagen.
  Dinge wie das OS-Redesign, „sexy Rechtsdokumente“, E-Mails mit seltsamen Betreffzeilen oder ein Merch-Shop, der CEO-Actionfiguren verkauft.
  Das kann ein Vorteil sein, wenn es darum geht, durch nutzerfreundliche Bewegungen mehr Akzeptanz zu schaffen. Aber wenn man Entscheidungen gegen die Nutzer trifft, um den Umsatz zu steigern, ist es eine zusätzliche Beleidigung.
  Ich will daraus keine allgemeine Aussage machen wie „Technologie darf keinen Spaß machen“, aber wenn die Botschaft nicht zu den Entscheidungen der Führung passt, wird das zu einem großen Problem

  • Der Anfang war gut. Es war ein entwicklerorientiertes Analytics-Tool und wirkte im Vergleich zur Konkurrenz frisch.
    Aber selbst gute Dinge gehen wohl zu Ende, besonders bei Unternehmen. In den letzten zwei Jahren ist es völlig in eine seltsame Richtung abgedriftet, und AI hat alles noch schlimmer gemacht.
    Ich sollte wohl wieder Open-Source-Projekte durchforsten

• Die Logik lautet: „Warum Opt-out statt Opt-in? Ganz einfach: Sonst hätten wir nicht genug Daten, um tatsächlich nützliche Modelle zu trainieren.“
  Wenn die Leute nicht direkt zustimmen wollen, ihre Daten an einen weiteren AI-Nichtdienst zu geben, dann heißt das wohl, dass sie es nicht wollen – seltsam, nicht wahr.
  Wenn der einzige Weg, an diese Daten zu kommen, darin besteht, „einfach anzunehmen, dass wir sie nehmen dürfen, und die Leute dazu zu bringen, uns zu sagen, dass wir aufhören sollen“, dann fragt man sich schon, was das wohl bedeutet. Ein Mysterium, das wohl niemand lösen kann

• Das sollte eine Lektion in schlechter Kommunikation sein. Dass nicht klar gesagt wurde, was genau trainiert wird, war ein großer Fehler.
  Diese Ankündigung zeigt sehr deutlich die Nachteile von PostHogs peinlich aufdringlicher Markenphilosophie

• Ich bin jeden Tag dankbarer für die EU-Gesetzgebung. Mehr habe ich dazu im Moment nicht zu sagen

  • Diese Gesetzgebung ist für sich genommen moralisch durchaus vertretbar. Aber im Gesamtsystem passiert etwas Interessantes.
    EU-Recht verhindert genau die Datenextraktion und Plattform-Lock-in-Taktiken, mit denen Big Tech bereits Monopole aufgebaut hat.
    Aber die großen Plattformen müssen ihre bereits erlangten Vorteile weder rückgängig machen noch für Praktiken zahlen, die inzwischen eingeschränkt oder illegal sind. Dadurch können sie in ihrer länger etablierten Position ruhig weiter Renten abschöpfen, während alle anderen die Leiter nicht mehr benutzen dürfen, über die sie selbst hinaufgestiegen sind
  • So kann man sich fühlen, bis man sich die Wirtschaftswachstumsraten Europas und der USA seit 2008 ansieht