- Kürzlich wurde eine Analyse durchgeführt, um den Einfluss von Large Language Models (LLMs) und AI-Chatbots auf die Customer Journey zu prüfen und dabei die Conversion-Raten von LLM-Empfehlungs-Traffic mit Organic Search zu vergleichen
- Die Studie basiert auf Daten von 54 Websites über einen Zeitraum von 6 Monaten und berücksichtigte zur Erhöhung der Aussagekraft nur Makro-Conversions wie Demo-Anfragen und Käufe
- Im Ergebnis lag die durchschnittliche Conversion-Rate von LLM-Traffic (4,87 %) leicht über der von Organic Search (4,60 %), es wurde jedoch bestätigt, dass der Unterschied statistisch nicht signifikant ist
- Auch bei einer Aufteilung nach B2B und B2C sowie nach Branchen zeigte sich kein konsistenter Vorteil; zudem lag der Anteil von LLM-Traffic auf den meisten Websites unter 1 %
- Insgesamt zeigt das Ergebnis, dass LLMs zwar neue Chancen bieten können, Organic Search zum jetzigen Zeitpunkt aber weiterhin der zentrale Kanal ist
Ziel der Studie
- Die Analyse soll prüfen, ob LLM-Traffic höhere Conversion-Raten als Organic Search aufweist
- In der Branche gab es die Hypothese, dass LLMs „hochwertigeren Traffic“ liefern, was hier auf Basis von First-Party-Daten überprüft werden sollte
Methodik und Daten
- Es wurden Websites aus verschiedenen Branchen untersucht, jedoch nur solche mit messbaren Makro-Conversions einbezogen
- B2B: Demo-Anfragen, Formularübermittlungen
- E-Commerce: Käufe
- Insgesamt wurden 54 Websites als finale Stichprobe ausgewählt
- Datenquelle war GA4, der Zeitraum umfasste die letzten 6 Monate
- Es wurde die sitzungsbasierte Conversion-Rate verwendet, um Unterschiede zwischen B2B und B2C zu minimieren
- Im Datenerhebungsprozess wurden Event-Mapping und Tracking-Validierung manuell durchgeführt, um die Verlässlichkeit sicherzustellen
Statistischer Ansatz
- Vergleich von Mittelwerten und Medianen sowie Messung von Standardabweichung und Interquartilsabstand
- Zur Prüfung der Differenz zwischen Organic- und LLM-Conversion-Raten je Website wurde ein paired t-test durchgeführt
- Für den Vergleich zwischen B2B und B2C wurde der Welch’s test verwendet
Zentrale Ergebnisse
- Durchschnittliche Conversion-Rate: Organic 4,60 % vs. LLM 4,87 %
- Die durchschnittliche Differenz je Website lag bei +0,27 Prozentpunkten, die Median-Differenz bei +0,09 Prozentpunkten
- p-Wert 0,794 → statistisch nicht signifikant
- Bei 56 % der Websites war die LLM-Conversion-Rate höher, bei 41 % niedriger → kein konsistenter Vorteil
Analyse von Websites mit hohem Traffic
- Bedingungen: ≥100.000 Sessions, ≥50 LLM-Sessions, ≥5 LLM-Conversions
- Die Stichprobe verringerte sich von 54 auf 33 Websites
- Die durchschnittliche Differenz stieg auf +1,24 Prozentpunkte, blieb aber weiterhin statistisch bedeutungslos (p=0,376)
Ergebnisse zu B2B vs. B2C
- Gesamtdaten:
- B2B → LLM (2,17 %) > Organic (1,16 %)
- B2C → LLM (6,58 %) < Organic (6,78 %)
- Auch nach Anwendung der Traffic-Bedingungen blieben die Unterschiede statistisch nicht signifikant
- Das Ergebnis des Welch’s test zeigte ebenfalls keinen Unterschied (p=0,546)
Umfang des LLM-Traffics
- Auf über 90 % der Websites entfielen weniger als 0,6 % des gesamten Traffics auf LLMs
- Im Durchschnitt machten sie nur 0,24 % der Sessions und 0,42 % der Conversions aus
- Organic Search stand dagegen für rund 32 % aller Sessions und 34 % aller Conversions und hatte damit einen überwältigend hohen Anteil
Analyse nach Branchen
- In den Branchen Finanzwesen sowie Reisen und Tourismus zeigte LLM eine höhere Conversion-Rate
- Im E-Commerce und bei Consumer Services lag Organic Search vorn
- Wegen der kleinen Stichprobe ist die Aussagekraft der Interpretation begrenzt
Fazit und Implikationen
- Auf Basis der aktuellen Daten gibt es keinen Beleg dafür, dass LLM-Traffic höhere Conversion-Raten als Organic Search liefert
- Zudem ist das Volumen von LLM-Traffic sehr gering → im Vergleich zu Organic Search ist der Einfluss minimal
- Die Customer Journey wird komplexer, und der Trend geht dahin, Search und LLMs parallel zu nutzen
- Laut einem aktuellen Bericht nutzen 46 % nur klassische Suche, 44 % Suche + AI parallel und nur 2 % primär AI
- Unternehmen sollten daher zwar Tracking und Monitoring für die LLM-Optimierung mitführen, zugleich aber Organic Search weiterhin als wichtigsten Kanal behandeln
Noch keine Kommentare.