- Stack Overflow war der prägende Ort für Entwickler-Q&A, doch nach der Verbreitung von KI-Coding-Assistenten wie ChatGPT, Cursor und Claude sind Fragen und Traffic stark zurückgegangen
- Im vergangenen Monat lag die Zahl der Fragen bei 6.866 und damit wieder auf dem Niveau der Anfangszeit nach dem Start 2008; Elon Musk nannte das einen „Tod durch LLMs“
- Die Beteiligung im Forum ist zwar gesunken, der Jahresumsatz ist jedoch auf rund 115 Millionen US-Dollar fast doppelt so hoch gestiegen, und der Verlust sank von 84 Millionen US-Dollar im Geschäftsjahr 2023 auf 22 Millionen US-Dollar
- Das Umsatzmodell hat sich von Werbung hin zu Unternehmenslösungen und Datenlizenzen verlagert; Stack Internal wird inzwischen von 25.000 Unternehmen weltweit genutzt
- Entwicklerfragen wandern in private KI-Chats ab, wodurch weniger neues öffentliches Wissen entsteht, doch zugleich bleiben Stack-Overflow-Daten für LLMs in einem zirkulären Modell weiterhin notwendig
KI-Assistenten verringern den Traffic von Stack Overflow
- Stack Overflow war lange das führende Q&A-Forum für Entwickler, die technische Hilfe suchten, und erreichte während der Pandemie fast den Höhepunkt seines Einflusses, weil viele Entwickler dort nach langfristig nützlichen Informationen suchten
- Mit der Verbreitung von KI-Coding-Assistenten wie ChatGPT, Cursor, Claude, Google Gemini und Microsoft Copilot ist der Traffic der Website stark eingebrochen
- Im Juli 2023 bezeichnete Elon Musk die Lage von Stack Overflow als „Tod durch LLMs“
- Im vergangenen Monat wurden auf Stack Overflow 6.866 Fragen gestellt, fast genau das übliche Niveau aus der frühen Startphase von 2008
Das Forum schrumpft, aber der Umsatz des Unternehmens hält sich
- Das Q&A-Forum von Stack Overflow ist schwächer geworden, doch das Unternehmen hält sich, indem es seine enorme Menge an historischen Inhalten monetarisiert
- Seit dem Auftreten von ChatGPT im Jahr 2022 ist die Beteiligung stark zurückgegangen, doch der Jahresumsatz von Stack Overflow ist auf rund 115 Millionen US-Dollar fast doppelt so hoch gestiegen
- Der Verlust sank von 84 Millionen US-Dollar im Geschäftsjahr 2023 auf 22 Millionen US-Dollar im jüngsten Geschäftsjahr
- Starke Kostensenkungen wie große Entlassungen trugen ebenfalls zur Verbesserung der Profitabilität bei
- Anders als Wissensplattformen wie Chegg, die von generativer KI hart getroffen wurden, konnte Stack Overflow den Wert seiner alten Inhalte in neue Einnahmequellen überführen
Von Werbung zu Unternehmenslösungen und Datenlizenzen
- Früher war Stack Overflow auf Werbeeinnahmen aus einem aktiven Forum angewiesen, heute stammen die wichtigsten Erlöse aus Unternehmenslösungen
- „Stack Internal“ bietet Add-ons für generative KI auf Basis von Millionen über Jahre angesammelter Fragen und Antworten
- Stack Internal wird inzwischen von 25.000 Unternehmen weltweit genutzt
- Ähnlich wie Reddit verkauft Stack Overflow auch Datenlizenzen an KI-Unternehmen
- Reddit wird als Plattform angeführt, die 2024 mit Lizenzen für nutzergenerierte Inhalte mehr als 200 Millionen US-Dollar eingenommen hat
Der Wert von Vertrauen aus einer alten Community
- Die neue Nische von Stack Overflow liegt im Vertrauen, das durch die frühere Community und ihre Fachkompetenz entstanden ist
- CEO Prashanth Chandrasekar sagte Anfang 2023, dass der Rückgang der Fragen vor allem bei sehr einfachen Fragen auftrat, während komplexe Fragen weiterhin auf Stack Overflow gestellt würden
- Chandrasekar meint, wenn LLMs nur so gut sind wie die von Menschen kuratierten Daten, dann könne Stack Overflow im Technikbereich einer der besten oder sogar der beste Orte dafür sein
- Große Sprachmodelle wollen Daten über Coding-Probleme und deren Lösungen, und Stack Overflow besitzt ein großes digitales Lager solcher Daten
KI und Entwicklerwissen als zirkuläre Struktur
- Daten von Stack Overflow sind für LLMs wichtig, doch weil Entwicklerfragen in private Chatfenster mit LLMs abwandern, entstehen weniger neue öffentliche Fragen und Antworten
- LLMs benötigen für ihren Betrieb riesige Datenmengen, und die Daten von Stack Overflow sind ein Asset, das diese Nachfrage bedienen kann
- Gleichzeitig werden die Daten von Stack Overflow zunehmend zu einem veraltenden Asset
- Stack Overflow zeigt den zirkulären Wandel einer Tech-Industrie, in der KI das öffentliche Teilen von Entwicklerwissen schwächt und dieses öffentliche Wissen zugleich wieder benötigt
1 Kommentare
Meinungen auf Hacker News
Ein Teil von mir denkt auch: Gut, dass es weg ist.
Ich habe es wie viele andere oft genutzt und mehrfach Hilfe bekommen, aber die kulturellen Probleme wurden ernst und verschwanden nie.
Die Gamification zog rigide, regelversessene Menschen an, die offenbar oft nicht einmal merkten, wenn sie andere verletzten.
Ich verstehe die Absicht, gute Fragen und brauchbare Antworten zu wollen, aber das rechtfertigt nicht, Menschen schlecht zu behandeln, nur weil sie die „falsche“ Frage gestellt haben. Die Arroganz und das zynische Abbügeln, die ich dort gesehen habe, waren unerquicklich.
Geschlossen: Duplikat der Frage Nr. 1234 von August 2011: „Wie macht man etwas entfernt Ähnliches in Django 1.3?“
Die Moderatoren dieser Seite haben dem Ganzen jede Freude an der Interaktion genommen. Wenn man eine Seite mit Moderatoren betreibt, sollte man unbedingt darauf achten, dass sie die Seite nicht in Stack Overflow verwandeln.
Aus der Perspektive von jemandem, der oft in der „New“-Warteschlange geantwortet hat, war die Menge an Regelverstößen, Low-Effort-Fragen und offensichtlichen Duplikaten erstaunlich.
Irgendwann waren 99 % der Fragen die Interaktion nicht mehr wert, also hörte ich auf zu antworten und stimmte nur noch für Schließungen ab und ging weiter.
Am Ende ist SO meiner Meinung nach gestorben, weil es zu bekannt wurde und die Moderation nicht mehr zu bewältigen war.
Früher gab es CUDA als aufkommende Technologie, die spannende Möglichkeiten für Scientific Computing und Parallel Computing eröffnete, und auf Stack Overflow gab es viele interessante Fragen dazu, wie man CUDA verwendet. Deshalb fing die Person an zu antworten, beantwortete fast 700 Fragen, wurde zum Teilnehmer mit der höchsten Reputation im CUDA-Tag und hatte ziemlich viel Spaß daran.
Aber als CUDA reifer wurde, waren die guten Fragen größtenteils schon gestellt und beantwortet, und das meiste, was heute auf Stack Overflow landet, ist nur noch Restmüll, sodass mehr Zeit für Bearbeitungen, Downvotes und Schließungen draufgeht als für Antworten.
Im Ergebnis wurden die meisten CUDA-Fragen heruntergevotet und gelöscht. Seltsamerweise, obwohl CUDA sich weiterhin entwickelte.
Wenn man im Leben gerade Schwierigkeiten hat und online Hilfe sucht, ist das wirklich eine entmutigende Erfahrung.
Es geht inzwischen nicht mehr nur darum, Fragen zu schließen, sondern sie komplett zu löschen, selbst wenn darin nützliche Informationen stehen.
Ich bin einmal zu einer früher geschlossenen Frage zurückgegangen, um einen Link zu finden, den jemand in den Kommentaren hinterlassen hatte, und sah, dass irgendein Moderator die Frage ohne ersichtlichen Grund gelöscht hatte, obwohl dort tatsächlicher Inhalt vorhanden war.
Da hatte ich endgültig genug und habe mich auf meine eigene Domain und meine eigene Website konzentriert. Wenn ich dort je wieder etwas poste, dann nur noch in Form eines Links zu meiner eigenen Seite, damit ihr Deletionismus es nicht erreichen kann.
Stack Overflow mag als Wissensspeicher der Menschheit zum Thema Programmierung das Beste sein, was wir haben.
Aber seine Nützlichkeit ist meiner Meinung nach auf das angesammelte Wissen beschränkt. Als Dienst oder Community war es schon lange ziemlich miserabel.
Für neue Nutzer, die Programmieren lernen wollten, war es vielleicht eine der toxischsten Ressourcen überhaupt. Seit 2019 habe ich dort fast nichts mehr gefragt.
Was ein durchschnittlicher Nutzer erwarten konnte, war entweder eine schroffe Antwort von jemandem, der den Beitrag nicht einmal richtig gelesen hatte, oder die Löschung durch Moderatoren, weil es angeblich eine ähnlich aussehende Frage gab, unabhängig davon, ob es eine zufriedenstellende Antwort gab oder nicht.
Ab einem gewissen Punkt sind alle sinnvollen Fragen bereits gestellt. Die Seite existierte dann nicht mehr, um bei Variationen bestehender Probleme zu helfen, sondern um neue Probleme zu sammeln.
Außerdem wird unterschätzt, wie sehr die Branche durch einige wenige Frameworks vereinheitlicht wurde. Dass der Höhepunkt von Stack Overflow mit dem Aufstieg von React zusammenfiel, ist durchaus aufschlussreich.
Später wurde es für Ordnung und Aufgeräumtheit optimiert, ruinierte damit die Seite und vergraulte dabei vor allem neue Nutzer.
Ich habe auf math SE und stats SE einfache Fragen zu Mathematik und Statistik gestellt und innerhalb weniger Stunden, manchmal sogar Minuten, präzise Antworten bekommen.
Und es gab keinen Mechanismus, Freundlichkeit aufrechtzuerhalten und zu belohnen.
Jeff Atwood hat sich darüber später beim Bau von Discourse viele Gedanken gemacht und wollte die Community-Mitglieder dazu bringen, gut miteinander umzugehen.
Der Autor hat im Diagramm COVID und den Launch von ChatGPT markiert, aber nicht erwähnt, dass Stack Overflow im Juni 2021 von der niederländischen Private-Equity-Firma Prosus übernommen wurde.
Für mich passt dieser Zeitpunkt ziemlich gut zum gesamten Abwärtstrend.
Der Verkauf selbst ist eher ein Symptom als eine Ursache.
Sie wirken nicht wie Leute, die „übernommen“ wurden, sondern eher wie diejenigen, die etwas geerbt haben.
In dieser Zeit hat sich StackOverflow selbst kaum verändert, und die Veränderung bei den Nutzern dürfte eher auf äußere Faktoren zurückgehen.
Stack Overflow hatte viele Nachteile, aber auf seinem Höhepunkt war es ein Wunder des Internets.
Gerade in der Anfangszeit jagten die Leute Karma hinterher, und man konnte praktisch alles fragen und bekam irgendeine Antwort. Sie war nicht immer richtig, aber es gab eine Antwort.
LLMs können im Durchschnitt deutlich bessere Antworten geben, aber ich finde, dass man das menschliche Element, das dabei verloren gegangen ist, bewusst in Erinnerung behalten und wertschätzen sollte.
Ironischerweise hat StackOverflow solche Foren fast umgebracht und wurde am Ende selbst Opfer der nächsten Welle.
Ich glaube schon, dass das ein Grund zur Sorge ist
Während die Leute Stack Overflow nutzten, haben sie dabei neues Wissen erzeugt
Wenn es kein solches Diskussionsmedium mehr gibt, wie soll man dann aktuelle, hochwertige Wissensinhalte in Modelle einspeisen?
Dort würden LLMs Lösungen für Probleme veröffentlichen, die sie nach umfangreicher Recherche gefunden haben
Leider konzentrieren sich LLMs auf einige wenige Anbieter wie OpenAI, Anthropic und Google, sodass jeder womöglich sein eigenes privates, geschlossenes Stack Overflow aufbaut
Mit einem solchen privaten Stack Overflow könnten ihre jeweiligen LLMs komplexes Schlussfolgern umgehen und dabei Tokens, Zeit und Kosten sparen
Wenn es zum Beispiel in einer Bibliothek einen Bug gibt, der einen gängigen Workaround erfordert, kann man diesen Workaround aus Open-Source-Code lernen, der ihn verwendet
Es gibt Reinforcement-Learning-Umgebungen, synthetische Daten, von Menschen annotierte Daten und auch Nutzungsdaten von codex/claude code/cursor
Der Großteil der Modellfähigkeiten beim Coding kommt nicht aus dem Post-Training, sondern nicht aus dem Pretraining
Man kann sagen, dass LLMs profitiert haben, indem sie nutzergenerierte Inhalte aus der Zeit vor LLMs „gestohlen“ haben
Im LLM-Zeitalter wird es künftig kein neues Stack Overflow mehr geben, das LLMs trainiert
Viele Accounts auf Twitter nähern sich bereits faktisch der Dead-Internet-Theorie an, also Konten, die eigentlich LLMs sind. Reddit dürfte ebenfalls ein großes Problem werden. Dort wird es viele Accounts geben, die Karma farmen, an Einflusskampagnen teilnehmen oder Werbeeinnahmen anstreben
Irgendwann wird das Korpus, mit dem LLMs trainiert werden, an einen Punkt kommen, an dem es selbst voller LLM-Abfall ist. Vielleicht ist selbstverstärkender Abfall die Zukunft
Das Problem ist weniger, dass SO sich selbst erstickt hat, sondern dass selbst große Suchmaschinen inzwischen lieber AI-Antworten anzeigen, statt kleine Blogs sichtbar zu machen
Strenge Anforderungen beim Formulieren von Fragen haben geholfen, Probleme klar zu definieren, und wenn man die Frage ordentlich formuliert hatte, fand man oft schon die Lösung
In den letzten Jahren war schon das Stellen einer Frage dort allerdings fast eine traumatische Erfahrung. Selbst bei völlig legitimen Fragen musste man mit Downvotes und Schließung rechnen, und bei auch nur kleinen Mängeln in der Frage war es noch schlimmer
Es hat sich komplett von „Ich habe eine Frage gestellt, konnte sie dann selbst beantworten, und jemand hat das in einem Kommentar auch so gesagt“ zu „Egal welche Frage man stellt, die ganze Website stürzt sich darauf, sie loszuwerden“ gewandelt
So seltsam es klingt: Manchmal finde ich auf Stack Overflow bessere Lösungen als auf dem Weg, auf den Claude Code beharrt
Ob eine Welt ohne SO langfristig besser ist, weiß ich nicht
LLMs sind gut darin, die bekannteste Lösung auszugeben, eher als die beste Lösung für ein Problem
Durch die Art, wie Tokens aus der Wahrscheinlichkeitsverteilung eines LLM gesampelt werden, verschwindet der Long Tail von Lösungen meist
Was geholfen hat: für ein Problem zum Beispiel 10 verschiedene Lösungen anzufordern und dann eine davon auszuwählen. Wenn es gar nicht 10 unterschiedliche Lösungen gibt, kommt manchmal sogar etwas beinahe Kreatives heraus
Manchmal ist die „beste“ Lösung schwer lesbarer Code, und wenn Leute ein Problem auf verschiedene Arten lösen und dabei wie wütende Affen streiten, versteht man das Problem oft besser
Natürlich war es manchmal auch wirklich schlimm
Allerdings hat die Kultur der Seite schon seit ziemlich langer Zeit geknirscht
Ich habe viel Mühe in das Bearbeiten von Fragen und Antworten auf ServerFault gesteckt, das zu SO gehört, aber heute fühlt sich diese Zeit vergeudet an
Sie wollten die Seite offenbar eine Zeit lang verkaufen und schienen sich nicht mehr darum zu kümmern. Einige Editoren durften sich viel zu lange danebenbenehmen, und das ist ihnen zu Kopf gestiegen. Ich wünschte, ich könnte diesen Aufwand rückgängig machen
Man könnte auch scherzen, dass der Rest des Internets nur dazu dient, den finalen latenten Raum zu verwässern, den Jon Skeet begrenzt hat
Ich wusste, dass Stack Overflow wegen KI zu kämpfen haben würde, aber dass die monatliche Zahl der Fragen von 200.000 vor den Chatbots auf ungefähr 1.000 gefallen ist, ist kaum zu glauben
Allerdings war ich selbst in den letzten vier Jahren auch überhaupt nicht mehr dort
https://data.stackexchange.com/stackoverflow/revision/193252...
Es gibt jetzt buchstäblich keinen Grund mehr, Stack Overflow zu benutzen. LLMs sind trotz ihrer Nachteile als Weg, Antworten auf Coding-Probleme zu bekommen, deutlich besser
Es war oft so etwas wie: „Danke für diesen Beitrag, aber hier ist die Wortwahl falsch, und es gibt 13 andere Antworten, die einige derselben Wörter enthalten, aber die eigentliche Frage nicht beantworten, also wurde das hier gelöscht. Und wenn dieser Beitrag stehen bleibt, bekommt meine verfehlte Antwort weniger Aufrufe“
Das Forum ist nicht nur aus einem einzigen Grund gestorben
Strenge Moderation war, ob man sie mochte oder nicht, Teil der Plattform, und wenn LLMs nicht 99,9 % des Bedarfs an Coding-Q&A-Foren beseitigt hätten, hätte das Modell in dieser Form wohl noch viel länger funktioniert
Deshalb brauchten sie eine „kanonische“ Antwort, und das hat die Seite langfristig getötet
Kurzfristig hat es sehr gut funktioniert, und die Gründer haben völlig zu Recht viel Geld verdient
Ich habe allerdings vor etwa einem Jahr ein paar Fragen gestellt und überhaupt keine Antworten bekommen
Nicht nur die Fragesteller haben SO verlassen, sondern auch die Antwortenden. Das könnte ein Henne-Ei-Problem sein, also eine Umkehr des Netzwerkeffekts
LLMs sind bei Debugging oder Helpdesk-artigen Aufgaben besser als langsame menschliche Unterstützung, und solche Fragen waren auf SO von vornherein auch nicht willkommen.
Stack Overflow ist weiterhin hervorragend für kanonische Fragen, mehrere Antworten und öffentliche, suchmaschinenoptimierte Diskussionen zwischen Menschen.
Aber für ein Unternehmen, dessen Private-Equity-Investoren aus einer Investition von 1,8 Milliarden Dollar das Hundertfache machen wollen, wird das wohl nicht genug sein.
Irgendwann wäre es schön, wenn die klassische Q&A-Seite als Verlust abgeschrieben und in etwas wie eine Stiftung ähnlich Wikimedia ausgegliedert würde, die daran interessiert ist, die ursprüngliche Q&A-Seite zu bewahren und weder Wachstum noch Transformation will.
Ich stimme zu, dass eine Stiftung ähnlich Wikimedia der beste Weg wäre, das ursprüngliche Ziel zu bewahren.