Wie ChatGPT tatsächlich Quellen auswählt (Analyse des Netzwerk-Traffics)

• Durch die Analyse von rund 1.240 Quellen-Datensätzen, die über mehrere Tage mit einem einzelnen eingeloggten Pro-Konto gesammelt wurden, wurden in Browser-JSONs die Quellen-Pipeline, die Anfrageklassifizierung, Suchbegriffe und ausgeführten Modelle sichtbar – Dinge, die sich allein aus der finalen Antwort nicht erkennen lassen
• Jedes Web-Ergebnis erhält ein result_source mit einem der Werte serp, labrador, bright oder oxylabs; bei kommerziellen, Shopping-, Finanz- und Wetteranfragen wurde vor allem bright beobachtet, das zum Bright-Data-Umfeld gehört
• Anfragen werden einem von 6 turn_use_case-Werten zugeordnet; bei text wird ohne Websuche nur anhand der Trainingsdaten geantwortet. Von 10 Anfragen, die Aktualität verlangten, wurden 3 ebenfalls nicht durchsucht – allerdings ist das ein begrenztes Ergebnis aus einem einzelnen Konto
• Thinking-Modelle erweitern einen Produktvergleich auf etwa 15 bis 40 Unteranfragen, suchen offizielle Preisseiten per site: oder schätzen Preise und prüfen sie anschließend, indem sie nach Zeichenketten wie $ oder € suchen
• Abruf, Zitat und Marken-Erwähnung sind unterschiedliche Dinge; wenn Preise und Spezifikationen auf offiziellen Seiten hinter JavaScript oder Bildern verborgen sind, können stattdessen Drittquellen wie G2 zitiert werden. Fakten sollten als Plain-HTML bereitstehen, Bewertungen müssen auch über Reviews, Reddit und Vergleichsinhalte verfügbar sein

---

Untersuchungsumfang und Maßstab für die Interpretation der Ergebnisse

• Mit einem eingeloggten ChatGPT-Pro-Konto einer einzelnen Person wurden über mehrere Tage Dutzende Suchen ausgeführt und rund 1.240 Quellen-Datensätze gesammelt
  • Die meisten Anfragen lagen schwerpunktmäßig in den Bereichen SaaS und Technologie
  • Es handelt sich nicht um eine Studie zur Häufigkeit von Quellen in der Gesamtpopulation, sondern um eine Beobachtung interner Felder und Verhaltensweisen, die an den Browser ausgeliefert werden
• Große Sichtbarkeitsstudien aggregieren die Häufigkeit von Marken-Erwähnungen in finalen Antworten auf Tausende Prompts, müssen den internen Ablauf aber aus den Ergebnissen erschließen
• Diese Analyse prüft engine-interne Labels direkt in den JSONs der Netzwerkantworten
  • result_source pro Ergebnis
  • turn_use_case pro Anfrage
  • Namen der Suchanbieter
  • von ChatGPT erzeugte Suchbegriffe
  • tatsächlich ausgeführtes Modell
• Die Aussagekraft der Ergebnisse sollte in zwei Kategorien betrachtet werden
  • Strukturelle Fakten: das Vorhandensein von Feldern und Werten, das Auslassen der Websuche bei text-Anfragen, zahlreiche site:-Suchen und Preisprüfungen durch Thinking-Modelle – Strukturen, die im tatsächlichen Traffic wiederholt bestätigt wurden
  • Häufigkeitsbeobachtungen: Zahlen und Rangfolgen wie der Anteil von bright, die Platzierung von Reddit-Zitaten oder nicht zitierte YouTube-Ergebnisse, die je nach einzelnem Konto und begrenzter Anfrageauswahl variieren können
• Der mechanische Unterschied, dass Reddit Fließtext abrufbar macht, während YouTube-Suchergebnisse meist nur Metadaten liefern, stützt die beobachtete Richtung. Für genaue Quoten ist jedoch eine größere Stichprobe nötig

Keine Paketaufzeichnung, sondern Browser-HTTP-Inspektion

• Der Grund, warum sich Anfragen und Antworten nicht allein aus Wireshark-Paketen lesen lassen, ist, dass der eigentliche Nachrichteninhalt per TLS verschlüsselt ist
  • Sichtbar sind Metadaten wie Ziel-Hostname und IP sowie die Tatsache, dass die ChatGPT-App nicht TCP, sondern QUIC-basiertes HTTP/3 nutzt
  • Das erste QUIC-Paket ist mit einem in der Spezifikation definierten festen Schlüssel obfuskiert; Tools können das entschlüsseln und den unverschlüsselten Servernamen im ClientHello anzeigen
  • Danach bleiben Request- und Response-Bodies in einer geschützten Payload und sind nicht lesbar
• JSONs mit Anfragen, Antworten und Metadaten müssen im Network-Panel der Browser-DevTools nach der Entschlüsselung geprüft werden
• Bei der Automatisierung traten zwei Probleme auf
  • Als ein anderer Engine mit einem sauberen automatisierten Chrome gesteuert wurde, erschien nach einigen Anfragen wiederholt die Cloudflare-Menschlichkeitsprüfung; daher erfolgte der Wechsel zu Chrome mit einer echten Sitzung
  • ChatGPT-Antworten werden über eine beim Laden der Seite geöffnete Langzeitverbindung gestreamt, sodass ein mitten in der Sitzung installierter Hook nicht von Beginn an mitschneiden konnte

Das result_source jeder Quelle

• Wenn in DevTools Preserve log aktiviert ist und die Antworten durchsucht werden, trägt jedes von ChatGPT abgerufene Web-Ergebnis ein result_source
• Mark Williams-Cook teilte drei dieser Werte, und Metehan hatte den übrigen Wert möglicherweise bereits entdeckt
• Beobachtet wurden vier Werte
  • serp: die Standardschicht für das offene Web, die vor allem bei News wie Yahoo und StreetInsider auftaucht
  • labrador: wirkt wie eine Allowlist etablierter Publisher wie Reuters, The Guardian, WSJ, FT, Wikipedia und arXiv; Snippets werden bis zu etwa 1.080 Zeichen bereitgestellt
  • bright: verweist auf den kommerziellen Web-Scraping-Anbieter Bright Data und fällt besonders bei Shopping-, Finanz-, Wetter- und lokalen Anfragen auf
  • oxylabs: verweist auf den konkurrierenden Scraping-Anbieter Oxylabs und ist eher auf lokale Medien sowie einige Ergebnisse aus dem offenen Web konzentriert
• labrador enthält mehrere Publisher, die Content-Verträge mit OpenAI haben, und wirkt daher wie eine Lizenzschicht; allein aus dem Traffic lässt sich eine Vertragsbeziehung aber nicht bestätigen
• Auch bei bright und oxylabs ist nicht erkennbar, ob Verträge oder Zahlungen bestehen. Klar ist jedoch, dass Abrufe aus dem offenen Web über beide laufen und das Feld zeigt, über welche Seite ein einzelnes Ergebnis geholt wurde
• In der gesammelten Stichprobe übernahm bright die meisten Abrufe
  • Reuters, WSJ, Wikipedia und TechRadar waren labrador
  • Reddit, Forbes und rtings waren bright
  • Medien aus der Golfregion wie Khaleej Times und Gulf News waren oxylabs
• Bei einer Wetteranfrage zu Dubai wurden die Rollen sogar innerhalb einer Antwort aufgeteilt
  • metoffice.gov.uk, accuweather.com und timeanddate.com waren bright
  • khaleejtimes.com, gulfnews.com und whatson.ae waren oxylabs
• Um in der tatsächlich zugänglichen Scraping-Schicht aufzutauchen, sollten Fakten und Zahlen in Plain-HTML stehen und nicht hinter Skripten, PDFs oder Bildern verborgen sein
• Statt sich nur auf schwer zugängliche Publisher-Schichten zu verlassen, sollte man auch auf Seiten vorkommen, die Scraper lesen – über Drittberichterstattung, PR, Marken-Erwähnungen, Links und Reddit

text-Anfragen ohne jegliche Websuche

• ChatGPT klassifiziert Fragen vor der Suche als turn_use_case; beobachtet wurden 6 Werte
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• Wird eine Anfrage als text klassifiziert, erfolgt keine Websuche; die Antwort basiert nur auf Trainingsdaten
  • „Wie wechsle ich einen platten Reifen?“
  • „Schreibe eine Python-Funktion, die zwei sortierte Listen zusammenführt“
  • „Übersetze diesen Satz in 4 Sprachen“
• Auch die nach Aktualität und Sicherheit wichtige Anfrage „aktuelle Behandlungsleitlinien für Typ-2-Diabetes“ wurde als text klassifiziert und ohne Websuche verarbeitet
• Von 10 bewusst auf aktuelle Informationen ausgelegten Fragen wurden 3 ohne Suche verarbeitet, aber das ist ein begrenztes Testergebnis und sollte nicht als allgemeine Quote verstanden werden
• Die Klassifizierung hängt nicht nur vom Thema, sondern auch von der Formulierung der Anfrage ab
  • „Bester Kaffee in meiner Nähe“ wechselt in die lokale Pipeline
  • „Bester 4K-TV zum Kaufen“ aktiviert shopping
  • „Bester 4K-TV mit Reviews“ bleibt bei der allgemeinen Suche
  • Mathefragen gehen an das Reasoning-Modell von thinking
  • „Tesla-Aktie diese Woche“ bleibt bei instant search
• Vor dem Erstellen einer Seite sollte geprüft werden, ob die Zielanfrage tatsächlich das Web durchsucht
  • Wenn How-to- oder Definitionsanfragen als text verarbeitet werden, können sie unabhängig von der aktuellen Seitenqualität nicht in Suchergebnisse gelangen
  • Damit eine Marke bei solchen Anfragen erscheint, muss langfristig Autorität aufgebaut werden; außerdem sollten Crawler wie Common Crawl die Website sehen können, damit sie künftig möglicherweise in Trainingsdaten einfließt

Wie eine Frage auf Dutzende Suchen erweitert wird

• Wenn man die gesamte Konversation über ChatGPTs eigene API abruft, sind die vom Modell ausgeführten Fan-out-Anfragen sichtbar
  • Schnelle Modelle führen meist nur einen umformulierten Suchbegriff aus
  • Thinking-Modelle erzeugen aus einer Produktvergleichsfrage je nach Komplexität etwa 15 bis 40 Unteranfragen
• Im Vergleichsprozess folgen mehrere Suchmuster aufeinander
  • direkte site:-Suchen auf Preisseiten von Anbietern
  • zuerst eine Preisschätzung, danach eine Suche zur Prüfung, ob dieser Betrag stimmt
  • während der Recherche entdeckte Tools wie Scrunch AI, die im Prompt nicht genannt waren und den Vergleichsumfang erweitern
  • anschließende Prüfung der Preise neu gefundener Tools
• Es bleibt nicht beim Abrufen von Suchergebnissen: Das Browsing-Tool führt serverseitig find-, open- und click-Befehle aus
  • Es sucht direkt nach Zeichenketten wie $, €, 99 oder Agency
  • Das ist kein Agent, der den Bildschirm des Nutzers bedient, sondern ein serverseitiges Tool, das Seitenergebnisse durchsucht
• Bei der Anfrage „keyword insights pricing“ wurde site:keywordinsights.ai/pricing ausgeführt, Werte wie „Starter $58, Pro $145, Advanced $299“ wurden geschätzt und anschließend durch Suche nach Währungssymbolen im HTML geprüft
• Preise und Kernzahlen sollten als HTML-Text statt als Bilder bereitgestellt werden; JavaScript-Toggles oder dynamisches Nachladen von Daten sollten vermieden werden
• Man sollte nicht nur auf den von Menschen eingegebenen Satz optimieren, sondern Informationen auch für die Suchbegriffe auffindbar machen, die das Modell formuliert und ausführt – einschließlich direkter Prüfungen wie site:yourdomain.com/pricing

Abruf, Zitat und Erwähnung sind unterschiedliche Ergebnisse

• Quellen haben drei unabhängige Zustände
  • Abruf (Fetched): Die Seite wird in den Modellkontext geladen, ist für Leser aber nicht sichtbar und über das result_source-Objekt erkennbar
  • Zitat (Cited): Sie wird nach einem bestimmten Satz als anklickbare Quelle verlinkt
  • Erwähnung (Mentioned): Der Markenname oder ein Site-Chip erscheint in der Antwort, ist aber nicht die Quelle der jeweiligen Aussage
• In der begrenzten Stichprobe technischer und kommerzieller Anfragen wurden Reddit und YouTube jeweils 278- bzw. 201-mal abgerufen
  • Reddit wurde 11-mal zitiert
  • YouTube wurde kein einziges Mal zitiert
• Bei YouTube-Suchergebnissen werden eher Metadaten als Video-Transkripte abgerufen, während Reddit-Threads Fließtext auf der Seite haben, sodass einzelne Aussagen leichter mit einer Quelle verbunden werden können
• Externe groß angelegte Analysen zeigen dieselbe Richtung
  • Ahrefs fand bei 1,4 Mio. ChatGPT-Prompts eine Reddit-Zitationsrate von 1,93 % und eine YouTube-Zitationsrate von 0,51 %
  • Profound bestätigte ebenfalls diese Lücke zwischen beiden Diensten
• In der kleinen Stichprobe war Reddit die am häufigsten zitierte einzelne Domain; weitere Zitate verteilten sich auf Review-Sites wie rtings und TechRadar sowie auf Anbieterseiten
• Anbieterseiten werden als Quellen für eigene Preise und Spezifikationen zitiert
  • Zoho, Semrush und VPN-Anbieter wurden als Belege für eigene Informationen verlinkt
  • Bewertungen dazu, welches Produkt am besten ist, zitieren überwiegend Drittseiten
• Zitate sind nicht mit der gesamten Antwort verbunden, sondern mit einzelnen Sätzen; thematische Relevanz allein genügt also nicht, eine Quelle muss eine konkrete Aussage am besten stützen
• Ergebnisse werden auf Domain-Ebene dedupliziert, sodass 20 dünne Seiten derselben Website zu einem Ergebnis zusammengeführt werden können
• Statt für jeden Fan-out-Suchbegriff massenhaft minderwertige Seiten zu erzeugen, ist es vorteilhafter, eine starke Seite pro Aussage zu erstellen
• Bewertende Aussagen über das eigene Unternehmen werden nicht auf der eigenen Seite belegt, sondern über Drittanbieter-Reviews, Reddit und Vergleichsinhalte; Text lässt sich leichter direkt zitieren als Video

Quellenwechsel, wenn offizielle Seiten nicht gelesen werden können

• Im an den Browser ausgelieferten Traffic sind versteckte Ranking-Scores wie Domain-Autorität, Vertrauensgewichte oder Ranking-Formeln nicht sichtbar
  • Die entsprechende Logik bleibt auf den OpenAI-Servern
  • Browser-Daten allein liefern keine Grundlage, um „ChatGPT-Rankingfaktoren“ endgültig festzulegen und zu verkaufen
• In den gespeicherten Reasoning-Spuren von Thinking-Modellen bleibt der Prozess der Quellenauswahl als Text erhalten
  • Bei Fakten wie Preisen und Spezifikationen werden offizielle Seiten bevorzugt
  • Im Ahrefs-Vergleich wurden die offiziellen Preise Lite $129, Standard $249 und Advanced $449 geprüft; als Zitat wurde die aktuellere Preisseite ausgewählt
• Bei Profound und Peec erschienen Preise nicht direkt in den Suchergebnissen; es wurde festgehalten, dass sie möglicherweise per JavaScript geladen wurden
• Wenn die offizielle Seite nicht geparst werden kann, wechselt das Modell zu Drittquellen wie G2
  • Es versucht, offizielle Preise zu bestätigen, findet sie aber nicht auf der Seite
  • Dadurch werden die eigenen Zahlen anhand einer Seite auf einer anderen Website zitiert
• Preise und Produktspezifikationen sollten nicht per JavaScript nachgeladen oder als Bilder eingebettet werden, sondern als crawlbarer Text verfügbar sein
• Eine gut lesbare Preisseite erhöht die Chance, dass eigene Fakten direkt zitiert werden; Empfehlungen und Bewertungen müssen aber separat über Reviews, Reddit und ehrliche Vergleichsinhalte abgesichert werden

Personalisierung, lokale Suche und nicht überprüfbare Bereiche

• Warum eine Quelle statt einer anderen ausgewählt wurde, gehört abgesehen von der vom Modell gespeicherten eigenen Beschreibung zur serverseitigen Logik und ist nicht überprüfbar
• Personalisierung wird nicht auf alle Anfragen angewandt, sondern selektiv bei einigen relevanten Anfragen
  • Bei Anfragen, die sich mit früheren Aufgaben des Nutzers überschneiden, erscheint personal_sources: ["convo_search", "gmail", "files"]
  • In einer von drei untersuchten Konversationen, die zur Nutzerhistorie passte, wurden frühere Gespräche für eine allgemeine Antwort zu den „besten Tools“ genutzt
• Manche Antworten bestehen aus persönlichen Daten, die extern nicht optimiert werden können; dadurch unterscheiden sich Ergebnisse je nach Nutzer und Sichtbarkeitswerte können schwanken
• Bei lokaler Suche ist local_results_limit auf 2 gesetzt
  • Wer nach dem besten Kaffee in der Nähe fragt, bekommt nicht die Top 10, sondern nur 2 Orte zurück
  • Bei lokaler Suche erscheint man nicht in der Antwort, wenn man nicht unter den Top 2 ist
• Zur shopping-Pipeline wurde nur eine Anfrage beobachtet; sie widerspricht direkt dem Ergebnis, das ein anderer Untersuchender bei einer einzelnen Anfrage gesehen hat, sodass die genaue Zusammensetzung derzeit nicht festgelegt werden kann
• Die Strukturen wurden über rund 1.240 Datensätze hinweg wiederholt beobachtet, aber die Quoten aus einem kleinen, kommerziellen Anfrage-Set mit Fokus auf SaaS und Technik müssen branchenübergreifend in größerem Maßstab validiert werden
• Da sich das System wöchentlich ändern kann, sollte man dies als Snapshot betrachten: Strukturen können bleiben, Zahlen sich verschieben

Selbst prüfen und Erweiterungen nutzen

• Die grundlegende Pipeline lässt sich ohne besondere Berechtigungen im eigenen Browser prüfen
  • In ChatGPT mit Cmd+Option+I DevTools öffnen
  • In Network Preserve log aktivieren
  • Nach einer Anfrage mit Cmd+Option+F in den Antworten nach result_source suchen
• Um Fan-out, Zitate und Reasoning zu sehen, kann man in der Console einmal allow pasting eingeben und die /backend-api/conversation/-Daten einer Konversation lesen, die eine Websuche durchgeführt hat
• Das bereitgestellte Skript liest mit dem Access Token der aktuellen Sitzung nur die eigenen Konversationsdaten und gibt Quell-Domains und Pipelines tabellarisch aus
  • techradar.com und whathifi.com sind labrador
  • soundguys.com und rtings.com sind bright
  • khaleejtimes.com ist oxylabs
  • streetinsider.com ist serp
• Ändert man die gesammelten Felder, lassen sich Suchbegriffe, Zitate und gespeichertes Reasoning auf dieselbe Weise extrahieren
• FanoutFox ist eine kostenlose Chrome-Erweiterung, die diesen Prozess automatisiert
  • zeigt die result_source-Pipeline pro Quelle an
  • unterscheidet Abruf-, Zitat- und Erwähnungsstatus
  • zeigt alle Fan-out-Anfragen einer Frage sowie site:- und Preisprüfungen
  • Daten verlassen den Browser nicht
  • Installation über den Chrome Web Store, weitere Analysen in Part 2
• Die kostenlose Erweiterung von Olivier de Segonzac liest ebenfalls Daten aus der lokalen Sitzung und exportiert sie nach Excel
  • zeigt turn_use_case an, sodass sichtbar wird, ob vor der Suche zu shopping, local oder text klassifiziert wurde
  • trennt in Zitat-Tokens die Anteile der Referenztypen Produkt, Suchergebnis, News und Bild
  • zeigt die result_source-Zusammensetzung pro Konversation als Diagramm
  • verfügbar im Chrome Web Store und in den Update-Hinweisen

Andere Designprinzipien als bei Suchmaschinenoptimierung

• In der begrenzten Stichprobe bestätigten sich bestehende Empfehlungen zu Reddit, Listeninhalten und Review-Sites im Großen und Ganzen
• Gute Inhalte wirken nur dort, wo das Modell sie tatsächlich lesen kann; nicht lesbare Fakten können von anderen Websites geholt werden
• ChatGPT liest parsbare Fakten auf der eigenen Seite, holt Bewertungen von den Seiten anderer und führt diesen Prozess nur aus, wenn die Anfrage als Suchfall klassifiziert wurde
• Statt nur auf Suchmaschinen-Rankings zu optimieren, sollte man zugleich Suchauslösung, HTML-Parsebarkeit, Zitierfähigkeit einzelner Aussagen und Drittquellen für Bewertungen mitdenken