Der Niedergang von Stack Overflow

 (observablehq.com)
1 Punkte von GN⁺ 2023-07-25 | 1 Kommentare | Auf WhatsApp teilen
  • Ein Observable-Daten-Notebook, das den Traffic-Rückgang von Stack Overflow um etwa 35 % in den vergangenen anderthalb Jahren anhand von Zeitreihendaten nachverfolgt; Datenquelle ist stackoverflow.com/site-analytics
  • Zunächst wurde ein Rückgang von etwa 50 % gemessen, doch rund 15 % des beobachteten Verlusts scheinen mit der Neuklassifizierung von Google-Analytics-Cookies um Mai 2022 zusammenzuhängen; die Charts wurden daher so angepasst, dass sie nur Daten nach dieser Änderung enthalten
  • Der Traffic-Rückgang spiegelt sich ebenso in einem Rückgang der Zahl der Fragen und Antworten um etwa 50 % sowie in weniger Stimmen wider, die Beiträge erhalten
  • Die Charts stellen die Nutzung als gleitenden 49-Tage-Durchschnitt dar; der Datensatz reicht vom 31.07.2008 bis zum 23.07.2023
  • Der Text besteht aus mehreren Chart-Zellen; in dem bereitgestellten Text werden die Grafiken nicht gerendert, sichtbar sind nur die Rohwerte der drei Datensätze traffic / posts / votes

Zusammenfassung der wichtigsten Veränderungen

  • In den vergangenen anderthalb Jahren ist der Traffic von Stack Overflow um etwa 35 % zurückgegangen
    • Der ursprüngliche Messwert lag bei etwa 50 % Rückgang, wurde aber korrigiert
    • Rund 15 % des beobachteten Verlusts scheinen mit der Neuklassifizierung von Google-Analytics-Cookies um Mai 2022 zusammenzuhängen (Änderung, bei der sie als „strictly necessary“ definiert und gespeichert werden)
    • Die Charts wurden aktualisiert, sodass sie nur Daten nach dieser Änderung enthalten
  • Der Traffic-Rückgang spiegelt sich ebenso in Metriken zur Site-Nutzung wider
    • Zahl der Fragen und Antworten um etwa 50 % gesunken
    • Auch die Zahl der Stimmen für diese Beiträge ist zurückgegangen
  • Die Nutzung in den Charts wird als gleitender 49-Tage-Durchschnitt dargestellt
  • Datenquelle ist stackoverflow.com/site-analytics

Traffic-Daten (traffic)

  • Datensatz traffic_2008Jul31_2023Jul23 mit 418 Zeilen
  • Besteht aus Datum und drei Integer-Metriken; Wertebereich ungefähr 3M–22M / 1,5M–9,5M / 120k–520k
  • Der angezeigte Abschnitt umfasst tägliche Werte ab 2022-06-01
    • 2022-06-01 → 18,524,758 / 7,945,523 / 351,184
    • 2022-06-14 → 20,002,931 / 8,485,223 / 390,082
    • Einige Daten wie 2022-06-04 verzeichnen Werte um 6,346,105 und liegen damit niedriger als an Wochentagen

Beitragsdaten (posts)

  • Datensatz posts_2008Jul31_2023Jul23 mit 1.992 Zeilen
  • Datum und drei Integer-Spalten; Wertebereich ungefähr 4k–23k / 2k–12k / 1,5k–12k
  • Der angezeigte Abschnitt umfasst tägliche Werte ab 2018-02-08
    • 2018-02-08 → 21,397 / 10,148 / 11,249
    • 2018-02-22 → 21,631 / 10,356 / 11,275

Abstimmungsdaten (votes)

  • Datensatz votes_2008Jul31_2023Jul23 mit 1.991 Zeilen
  • Datum und vier Integer-Spalten; Wertebereich ungefähr 400–3.600 / 10k–75k / 10k–65k / 2.000–9.500
  • Der angezeigte Abschnitt umfasst tägliche Werte ab 2018-02-08
    • 2018-02-08 → 3,347 / 65,834 / 57,278 / 8,556
    • 2018-02-21 → 3,206 / 66,063 / 57,693 / 8,370

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-07-25
Meinungen auf Hacker News

  • Diese Zahlen zeigen, dass der Traffic innerhalb weniger Tage im Mai 2022 drastisch und dauerhaft zurückging. Neue tägliche Besuche fielen von etwa 1 Mio. auf 300.000, die gesamten täglichen Pageviews von etwa 20 Mio. auf 14 Mio., und die täglichen Sessions von etwa 9,4 Mio. auf 6,1 Mio.
    Im selben Zeitraum gab es jedoch keinen entsprechenden Rückgang bei Beiträgen oder Stimmen; beide blieben, abgesehen von saisonalen Schwankungen, relativ konstant, bis sie im Februar 2023 stark einbrachen. Die Traffic-Daten stammen aus Google Analytics, die Beitrags-/Abstimmungsdaten aus internen Berechnungen von StackOverflow. Daher wirkt der Einbruch im Mai 2022 möglicherweise wie ein Messartefakt, weil Google Analytics seine Art, Traffic/Besucher zu erfassen, plötzlich geändert hat.
    https://i.imgur.com/qMj7Lge.png
    https://news.ycombinator.com/item?id=36856249

    • Wenn man die Kommentare zu dieser Antwort https://meta.stackexchange.com/a/391625/136010 liest, scheint auch das Personal der Erklärung zuzustimmen, dass die Änderung im Mai 2022 auf die Einführung eines ordentlichen Cookie-Consent-Formulars zurückging. Ohne Performance-Cookies kann SO keine korrekten Analysedaten ermitteln.
      Auch Mitarbeiterin Catija antwortete: „Zwischen April und Mai 2022 sank der ‚Traffic‘-Wert um 40 Mio. pro Woche, und damals änderte sich das Cookie-Tracking. Danach normalisierte er sich bis Dezember wieder. Vor der Cookie-Änderung lag der Traffic bei etwa 140 bis 150 Mio. pro Woche. Wir wissen das aber und haben es ‚korrigiert‘.“
    • Solche starken Einbrüche liegen normalerweise an der Bot-Tracking-Methode, Änderungen am Google-Algorithmus oder einer großen internen Designänderung.
    • Ergibt Sinn. „Neue Besuche“ sind Nutzer, die zum ersten Mal kommen – vermutlich junge Entwickler, die über Suchmaschinen nach einer Antwort suchen. Das sind Leute, die auf Stack Overflow finden, was sie wollen, vielleicht auf Werbung klicken und dann wieder gehen.
      Da sie wahrscheinlich nicht viel abstimmen oder posten, könnte ein plötzlicher Rückgang bedeuten, dass beim organischen Such-Traffic etwas sehr Schlimmes passiert ist. Etwa Google-Änderungen, eine furchtbare neue Suchmaschinenoptimierungsstrategie oder das Einstellen von Anzeigenkäufen. Der Anteil neuer Inhalte ist schon lange in düster konstanter Geschwindigkeit zurückgegangen, aber die ersten Monate 2023 waren besonders schlimm.
    • Oder Sites, die StackOverflow gescraped haben, haben den Nutzern, die nur schnelle Lösungen suchten, den Traffic abgenommen, während Leute mit SO-Account weiterhin gepostet und abgestimmt haben.
    • Vielleicht war dieser Monat der Höhepunkt der Einführung von GitHub Copilot. Wenn ich mich richtig erinnere, kam die VS-Code-Erweiterung Ende März heraus.

  • Die größte Hilfe bei Fragen, die es auf SO noch nicht gab, war ironischerweise deren Strenge. Beim Schreiben einer hochwertigen Frage mit minimal reproduzierbarem Beispiel, klarer Gedankenführung und den Dingen, die man bereits ausprobiert hatte, lösten sich die meisten Probleme schon vor dem Posten von selbst.

  • Mein SO-Account ist fast 12 Jahre alt und meine Reputation liegt bei etwas über 2.000, aber das ist mir ziemlich egal. Ich beantworte immer noch in gewissem Umfang grundlegende Fragen zu Mobile-Development-Tags; das Einzige, was mich an SO stört, ist die Feindseligkeit einiger Moderatoren mit hoher Reputation.
    Manche scheinen daran Spaß zu haben und haben vergessen, dass Reputation nicht Fachkompetenz bedeutet. In 12 Jahren haben sie dieses Problem nicht gelöst. Ich sehe jeden Tag, wie neue Nutzer völlig berechtigte Fragen stellen und dann nie wieder reagieren. Früher bekamen einfache, grundlegende Fragen großzügig Upvotes, heute nicht mehr.

    • Mit der Zunahme von Push-Benachrichtigungen gehen Leute offenbar nicht mehr direkt auf die Website, um Benachrichtigungen zu prüfen. Neue Nutzer haben sich vielleicht nie angewöhnt, zu SO zurückzukehren und sich zu beteiligen.
      Der Niedergang von Foren scheint damit zusammenzuhängen. Reddit funktioniert immer noch, weil die App täglich 200 Benachrichtigungen schickt; ohne das wäre es heute nicht so beliebt. SO ist für Nicht-Experten feindselig, daher gibt es für Anfänger außer Fragen zu stellen oder mitzulesen nicht viel zu tun. Man fühlt sich nicht qualifiziert.
    • Es ist lächerlich, wie Leute mit hoher Reputation glauben, sie seien jonskeet. Reputation auf Stack Overflow ist inzwischen bedeutungslos und aufgebläht.
      Es gibt viele Leute mit über 100.000 Reputation, weil sie grundlegende Fragen zu JavaScript, Python, pandas oder Git gestellt oder beantwortet haben.

  • Jedes Mal, wenn ich auf SO oder einer anderen SE-Site etwas postete, musste ich ausdrücklich schreiben: „Ich weiß, dass A vielleicht keine gute Idee ist und B eine bessere Lösung sein könnte, aber in meinem konkreten Fall möchte ich wirklich A tun.“
    Trotzdem versuchen Leute, die Frage als Duplikat von B zu schließen.

    • Ich habe sogar die Suchbegriffe dazugeschrieben, mit denen ich geprüft hatte, dass es kein Duplikat ist. Ein anderes Mal habe ich erklärt, warum es offensichtlich kein Duplikat ist. Trotzdem wurde es als Duplikat geschlossen.
    • Die Leute überspringen diesen Teil einfach. Der Ablauf ist: Titel lesen, Codebeispiel überfliegen, Antwort posten.
      Und wenn ich dann sage, dass sie das, was ich geschrieben habe, völlig ignoriert haben, geben sie mir die Schuld, ich hätte sie in die Irre geführt, und ich bekomme Downvotes. So läuft SO.

  • Das Problem scheint zu sein, dass Google den Kampf gegen Spammer verliert. Seit einiger Zeit muss man stackoverflow in die Suchanfrage aufnehmen, um Seiten mit abgegriffenen Inhalten zu vermeiden

    • Google „verliert“ keinen Kampf. Google lässt Spam absichtlich gedeihen.
      Dieser Spam kann Google Ads/Analytics enthalten, und wenn Nutzer auf Spam klicken, dann zur Suchergebnisseite zurückkehren und etwas anderes versuchen, steigt das Engagement. Eines davon könnte ein Anzeigenergebnis sein. All das trägt zu Googles Umsatz bei
    • Sehe ich auch so. Google dürfte die überwältigende Mehrheit des SO-Traffics liefern.
      Vor ein paar Jahren war Stack Overflow bei einer Programmier-Suche das erste oder zweite Ergebnis. Heute stehen sehr oft spamiger Müll auf den ersten 2–3 Plätzen
    • Unter den Seiten mit abgegriffenen Inhalten sind besonders YouTube-Links schlimm. Traurigerweise wäre es nicht überraschend, wenn solche Leute allein über Google-Suchergebnisse zu „Content Creators“ werden und ordentlich Werbeeinnahmen erzielen
    • Nach meiner Erfahrung ranken solche Scraping-Sites oft höher als das Original
    • Es ergibt viel mehr Sinn, wenn man Google nicht mehr als Suche, sondern als Recommendation Engine betrachtet. Traurig, aber wahr

  • Ich hatte früher einmal eine ähnliche Frage beantwortet, konnte mich aber nicht daran erinnern, schrieb in 2 Minuten eine neue Antwort und wurde mit Downvotes bombardiert, weshalb ich SO verlassen habe. Meine alte Antwort zu suchen hätte viel länger gedauert, als eine neue zu schreiben.
    Als ich sagte, dass es in der Verantwortung des Fragestellers liege, Duplikate zu finden, nicht in der des Antwortenden, bekam ich zu hören, ich müsse trotzdem die Zeit investieren oder eben nicht antworten

    • Vor allem wenn man weiß, dass man dasselbe schon einmal beantwortet hat, sollte man die ursprüngliche Antwort finden.
      Alle Nutzer sind Moderatoren. Es gibt auch explizite Moderatoren, aber die schließen oder downvoten nicht häufig, sondern kümmern sich um andere Probleme. Auf kleineren Sites läuft es eher darauf hinaus, mit normalen Nutzerrechten abzustimmen und zu schließen
    • Deshalb bevorzugen die meisten Entwickler inzwischen ChatGPT. Es ist viel schneller und bequemer. Wie eine sehr schlaue Suchmaschine.
      SO wird als Bibliothek für Probleme bestehen bleiben, die man noch nicht gesehen hat, und für diese Rolle ist es ursprünglich gut geeignet

  • Für mich liest sich dieser Beitrag wie einer über den Aufstieg von ChatGPT, aber ich stimme auch zu, dass übermäßige Moderation ein großes Problem ist.
    Als ich auf gamedev StackExchange OpenGL lernte und feststeckte, hatte ich eine schwierige Erfahrung. Ein Moderator markierte meine Frage sofort als Duplikat, gestützt auf eine ähnliche Frage zu OpenGL ES, obwohl OpenGL ES zwar verwandt ist, aber eine andere API. Ich versuchte zu widersprechen, wurde aber abgewiesen. Kurz darauf gab ich ein Spiel auf, an dem ich jahrelang gearbeitet hatte, und die Entscheidung dieses Moderators trug dazu bei. Es fühlte sich an, als stünde vor dem Weg zur Antwort eine Wand. Übermäßige Moderation ist nicht nur lästig; sie kann die Fähigkeit der Nutzer untergraben, ihre Arbeit zu erledigen

    • Die Grafiken im Artikel zeigen, dass der Traffic-Rückgang etwa im Mai 2022 begann, also einige Monate vor der Veröffentlichung von ChatGPT. Als Ursache wirkt eine Änderung des Google-Algorithmus wahrscheinlicher.
      In den meisten Fällen lande auch ich bei Stack Overflow, weil ich eine Frage in eine Suchmaschine eingegeben habe
    • Dasselbe Problem gibt es auch auf der erfahrenen Seite. Manchmal möchte ich auf SO eine fortgeschrittene Frage stellen und mit anderen Erfahrenen interagieren, aber um die Frage offen zu halten, muss ich gegen Moderatoren kämpfen, die meine Frage offensichtlich nicht verstehen

  • Ich erinnere mich, dass ich um 2013 herum Frontend-Entwicklung lernen wollte und von Responsive Web Design und Twitter Bootstrap fasziniert war. Ich stellte auf der Site ein paar Fragen, wurde mehrfach verspottet, weil sie amateurhaft wirkten, nutzte die Site nie wieder und lernte am Ende auch kein Frontend.

    • Ich hatte das gegenteilige Problem. Es gab ein Gebiet, in dem ich mich tatsächlich ziemlich gut auskannte, aber ich hatte nicht genug Karma, um Fragen zu beantworten, also konnte ich nie antworten
    • Es gibt schon eine gewisse Einstiegshürde. Ein Freund von mir, ein deutlich weniger erfahrener Entwickler als ich, war in der Technik namens SO viel besser. Ich habe einfach mitgelesen und meine Probleme selbst gelöst
    • Die Universität, die ich besucht habe, hat uns im Grunde ein Informatik-Handbuch hingeworfen und RTFM gesagt. Ich wäre fast durchgefallen, habe es am Ende aber gelernt.
      Auf SO habe ich nur gute Erfahrungen gemacht, aber jedenfalls hoffe ich, dass man sich nicht von unterdurchschnittlichen, unbeholfenen Leuten entmutigen lässt

  • Es gab auch Moderationshölle, aber der Hauptgrund, warum ich aufgehört habe, SO-Fragen zu beantworten, ist dieser: Gute Antworten zu schreiben kostet Zeit, schnelle Copy-and-paste-Antworten bekommen Upvotes, selbst wenn sie falsch sind, und die Person, die unter vielen Antworten die akzeptierte auswählt, ist meist der Fragesteller, dem das Wissen fehlt, das zu beurteilen.
    Außerdem werden Antworten oft nicht akzeptiert, als würde es den Fragesteller nicht mehr interessieren. Es gab heftigen Gegenwind gegen alte Beiträge, die den SO-Punktewettbewerb gamifiziert haben, aber statt das kaputte System zu reparieren, blieb SO dabei. So wie SO eine Bewegung weg von Experts Exchange und Ähnlichem war, ist jetzt ein guter Zeitpunkt für die Community, eine Post-SO-Q&A-Site zu starten

    • Wenn man eine dumme Frage zu einem trendigen JS-Framework stellt, bekommt man Hunderte Stimmen.
      Beantwortet man dagegen einen schwierigen Teil einer Software mit kaum vorhandener Dokumentation, etwa im Low-Level-Bereich, sind es höchstens ein paar Stimmen. Wenn sie akzeptiert wird, hat man Glück. In schwierigen und obskuren SO-Tags gibt es ein paar unbekannte Helden. Sie investieren viel Zeit, bekommen aber kaum Belohnung. Was auch immer nach SO kommt, muss einen Weg finden, das zu beheben

  • Die Probleme, die ich bei Stack Overflow wahrgenommen habe, lassen sich schwer auf ein paar Punkte reduzieren, aber grob gesagt sind es diese: Früher zeigte Google sehr relevante Ergebnisse von SO gut an, aber irgendwann hörte das auf, und die Moderation auf SO wurde immer furchtbarer.
    Ich kann gar nicht zählen, wie oft ich genau diese seltsame Frage gefunden habe, nach der ich gesucht hatte, es aber nur einen potenziell hilfreichen Kommentar gab und ein Moderator sie aggressiv aus Gründen wie „nicht zum Thema passend“ geschlossen hatte. Dadurch ist die exakte Antwort oft in den Kommentaren vergraben und wird negativ aufgenommen. All das zusammen machte es immer schwieriger, die gewünschten Informationen aus dem Rauschen herauszufiltern, und es wurde meist einfacher, die Lösung in GitHub-Kommentaren oder irgendeinem Blog zu finden.

    • Der erste Punkt scheint mir der wichtigste zu sein. SO mag heute furchtbar sein, aber dort liegen Antworten aus vielen Jahren, die vor ein paar Jahren noch gut waren. Warum sind sie jetzt nicht mehr sichtbar?
      Dass Google heutzutage w3schools oder, schlimmer noch, Content-Farmen wie geeks4geeks empfiehlt, ist immer schlechter als Stack Overflow. Ich weiß nicht, was der Algorithmus tut, aber es wirkt jedenfalls so, als wolle man die Google-Suche so schnell wie möglich umbringen. Dass man selbst bei der Suche nach „[Sprache] [Symbol]“ statt zur Dokumentation zu solchen Content-Farmen geschickt wird, ist wie ein schlechter Witz. Heutzutage ist es wirklich schwierig, mit Google etwas Nützliches zu finden.
    • Auch ich habe oft nach „Wie mache ich X?“ gesucht und dann eine SO-Frage gefunden, in der genau das gefragt wurde. Die Antwortenden gaben aber keine Antwort, bis erklärt wurde, warum man X überhaupt tun wolle, und erklärten am Ende ausführlich, dass man eigentlich Y tun sollte.
      Ich brauche aber wirklich X, deshalb sind diese Antworten nutzlos. Wenn man dann eine andere Frage findet, die fragt, wie man X macht, schließen die Moderatoren sie als Duplikat der vorherigen Frage. Selbst wenn der Fragesteller ausdrücklich schreibt: „Ich brauche wirklich X, daher ist das kein Duplikat dieser Frage“, wird sie geschlossen.
    • Ein typischer SO-Thread sieht so aus: Fragesteller: „Wie mache ich X mit Y?“ Meistbewertete Antwort: „Ich würde X nicht mit Y machen. Zieh stattdessen Z in Betracht. Z macht alles, was X mit Y macht, und zusätzlich noch dies und das.“
      Untergegangener Unterkommentar zur meistbewerteten Antwort: „Das war nicht die Frage. Um X mit Y zu machen, geht man so vor.“ Und die Person, die die Frage tatsächlich beantwortet hat, wird in zehn Kommentaren angegriffen, weil sie es nicht auf die Weise der meistbewerteten Antwort gemacht hat.
    • Für mich persönlich hat der Zuwachs an guter offizieller Dokumentation einen großen Einfluss. Vor 12–13 Jahren, als SharePoint 2013 herauskam, musste ich etwas für SharePoint 2010 bauen.
      Ich war kein SharePoint-Entwickler und es war mein erstes Mal, aber ich war an die altmodische Methode gewöhnt, ein System durch Lesen von Handbüchern oder Spezifikationen zu verstehen. Ich hatte mit Bitmap-Formaten, Solarwechselrichtern, eingebetteter Bausoftware und Ähnlichem gearbeitet, also hätte SharePoint einfach sein müssen, aber ohne Stack Overflow hätte ich es nicht geschafft. Als ich 2023 wieder an SharePoint arbeiten musste, war die offizielle Dokumentation so gut, dass ich nichts anderes brauchte. Das ist zwar ein einzelnes Beispiel, aber bei fast allem, womit ich heute arbeite, ist es ähnlich. Sicher, ich habe auch zehn Jahre mehr Erfahrung, aber ich denke, ein großer Faktor ist auch, dass die Branche viel besser mit offiziellen Kanälen umgeht. Wenn es ein Problem gibt: Geht man heute zu Stack Overflow oder eher zu GitHub Issues und ähnlichen Orten?
    • Es gibt ein typisches Muster, das ich in vielen Formen wiederholt gesehen habe. Der Fragetitel ist sehr klar: „F im Kontext X“, und im Text steht: „Ich frage nicht nach F im Kontext Y, und auch nicht nach libT, das man nach Standard U bekommen kann. Funktioniert F für libS im Kontext X?“
      Die automatisch akzeptierte Antwort A1 mit über 100 Upvotes und 50 Bounty sagt dann „funktioniert“ und erklärt ausführlich nur einen aus dem Kontext gerissenen Teil von F für libS im Kontext Y. In den Kommentaren steht „Das ist nicht die richtige Antwort, siehe A15“, und ein anderer Kommentar beschwert sich, dass die Begründung zu U in A15 nur von einer Sekundärseite stamme und daher nicht vertrauenswürdig sei. A2 bis A7 sind Aufgüsse von A1, A8 verweist auf eine Frage zum Kontext Y und nennt es ein Duplikat, A9 bis A14 bringen Beispiele mit libT, das sich anders verhält, und sagen „funktioniert“. Nur A15 sagt: „Die Frage fragt nach F für libS im Kontext X und stellt ausdrücklich klar, dass es nicht um Y geht; betrachtet man den Kontext X von libS, funktioniert es nicht. Der Grund ist foo“, und verlinkt auf die libS-Dokumentation, den Quellcode oder Beispiele. Nachdem dann in libS vN+1 F im Kontext X hinzugefügt wurde, erscheint Jahre später ein Kommentar: „Diese Antwort ist ungültig.“ Danach folgen zufällige weitere Antworten.