Der Niedergang der Google-Suche durch „tausend kleine Schnitte“
(matt-rickard.com)- Wenn große Websites ihre Zugangsbeschränkungen ausweiten, wie bei der Umstellung von Reddit auf privat sowie Twitters Login-Pflicht und Rate Limits, führen viele Links in den Google-Suchergebnissen faktisch ins Leere
- Da große Sprachmodelle mit öffentlichen Daten trainiert werden, haben Content-Websites einen Anreiz, ihre Daten eher zu verkaufen oder selbst zu nutzen, statt sie weiter offen zugänglich zu halten
- Solche Beschränkungen können Googles Crawling für den Suchindex verhindern oder erschweren und auch die Beschaffung von Trainingsdaten für KI-Modelle beeinflussen
- Wenn sogar Websites, die häufig in Suchergebnissen erscheinen, wie Wikipedia, API-Zugriff kostenpflichtig machen oder einschränken, könnten auch Googles zentrale Quellen ins Wanken geraten
- Selbst wenn Google die Suche mit KI-Antworten ergänzt, kann sich die Suchqualität über mehrere Jahre hinweg schrittweise verschlechtern, wenn Daten hinter Login-Walls und Paywalls wandern
Zugangsbeschränkungen machen Suchergebnisse zu toten Links
- Einige Reddit-Communities sind aus Protest gegen die neuen API-Regeln weiterhin privat
- Twitter verschärft seine Login-Wall und setzt für Nutzer Rate Limits durch
- Durch diese Änderungen werden Millionen von Suchergebnissen, die noch in Googles Index stehen, praktisch zu toten Links
- Nutzer, die Reddit-Ergebnisse über Google gefunden haben, verlieren eine Alternative, während sie Reddits eigene Suche als schlechter empfinden
- Tweet-Links in Suchergebnissen führen für viele Nutzer zu einer Login-Aufforderung
Datenkontrolle im KI-Zeitalter setzt Googles Index unter Druck
- Große Sprachmodelle werden mit über APIs gesammelten öffentlichen Daten trainiert; je mehr Content eine Website hat, desto wahrscheinlicher ist sie von Modellen betroffen, die mit ihren eigenen Daten trainiert wurden
- Solche Websites können nach der Einschränkung des Datenzugriffs zwei Optionen in Betracht ziehen
- die Daten verkaufen
- ein eigenes Modell trainieren
- Zugangsbeschränkungen verhindern oder erschweren den Prozess, mit dem Google Daten für die Suche automatisch sammelt, und wirken sich auch auf die Beschaffung von Daten für das Modelltraining aus
- Die Google-Suche könnte durch den Verlust von Ergebnissen Website für Website tausend kleine Schnitte erleiden
-
Wenn Wikipedia Beschränkungen einführt
- Wikipedia erscheint schätzungsweise bei 99 % der Google-Suchen auf der ersten Seite
- Wird der API-Zugriff kostenpflichtig oder eingeschränkt, könnte das große Auswirkungen auf die Suchergebnisse haben
- Wikipedia-Daten sind ein Datensatz, der in den Korpora fast aller großen Sprachmodelle enthalten ist
- Die Wikimedia Foundation hat mit Spendenbannern um finanzielle Unterstützung gebeten und 2021 mit Wikimedia Enterprise ein Enterprise-API-Produkt eingeführt
- Wenn Suchergebnisse nach und nach zu toten Links werden und aus dem Index entfernt werden, verlassen sich Nutzer stärker auf site-spezifische Suchen innerhalb geschlossener Dienste
- Google könnte versuchen, Ergebnisse mit KI-generierten Antworten zu ergänzen, doch nicht alle Antworten werden gut genug sein, und auch Trainingsdaten könnten hinter Login-Walls oder Paywalls wandern
- Bis neue Alternativen entstehen, kann die Suche über mehrere Jahre hinweg schrittweise schlechter werden
1 Kommentare
Meinungen auf Hacker News
Ich habe das Gefühl, dass die Google-Suche schon seit Langem langsam stirbt.
Früher konnte man knappe Informationen wie Dokumente, Forenbeiträge oder Wikis finden, heute sieht man nur noch suchmaschinenoptimierte Marketingtexte, Linkfarmen, Clickbait, lange Artikel mit Tausenden Wörtern, die nichts sagen, politische Tiraden, deren Kontext nicht passt, wenn man kein Amerikaner ist, und Unmengen an Werbung.
Diese Situation wirkt wie ein direktes Ergebnis von Google Ads und dem Google-Suchalgorithmus selbst, weshalb es deutlich attraktiver ist, ein LLM zu fragen, als zu suchen. Wenn es nur keine Halluzinationen gäbe, würde KI den Lärm herausfiltern und die tatsächlichen Informationen herausziehen.
Das Web ist nicht mehr für Menschen oder die Informationssuche da, sondern für Bots, Crawler, Googles Algorithmus und Marketing. Für Menschen ist das schwer zu verdauen geworden, sodass sie von KI knappere, stärker auf den Punkt gebrachte Ergebnisse erwarten.
Über eine kachelartige Empfehlungsoberfläche wurden mir nur Blog-Spam-Rezepte dafür angezeigt, wie man Kohlsuppe selbst einmacht; es gab weder normale Textlinks noch echte Dosen-Suppenprodukte. Auch nach dem Durchsehen mehrerer Seiten änderte sich nichts.
Seltsamerweise wechselte die Suche nach "canned cabbage soup history" wieder in den normalen Ergebnis-Modus und zeigte Produkte und Wikipedia an. Wenn es eine Suche ist, bei der jemand aktiv etwas kaufen will, wäre der geschäftliche Grund, Google mit einer seltsamen Spezialsuche kaputtzumachen, am offensichtlichsten – aber warum es einen Modus "Blog-Spam ausliefern" gibt, verstehe ich nicht.
Außerdem sehe ich inzwischen mindestens fünfmal am Tag einen Bildschirm, der fragt, ob ich ein Roboter bin.
Was ich will, ist eine Liste von Links zu Orten mit relevanten Informationen, und ich möchte nicht, dass die Suchmaschine Inhalte für mich zusammenfasst oder bereinigt. Wenn man nicht selbst liest und versteht, geht zu viel Wissen und Kontext verloren.
Nutzer können kurze, präzise Antworten bekommen, ohne durch Werbung zu müssen, und das ähnelt dem, wie das Web vor langer Zeit einmal war.
Stack-Overflow-Spam-Klonsites, die eigentlich entfernt werden müssten, oder Websites wie Canva und Pinterest, die Tausende ähnlicher Seiten mit nur leicht unterschiedlichen Titeln erzeugen, werden von Google weiterhin zugelassen und erscheinen weit oben.
Auch die Top-10-Seiten, die bei Suchen wie "best domain name registrar" erscheinen, mag ich nicht. Ich möchte echte Domain-Registrare sehen, keine spamartigen Blogartikel voller Affiliate-Links, und wenn ich ChatGPT frage, liefert es genau das.
Google ist viel zu stark manipuliert, und weil in diesen Spam-Blogartikeln ihre eigenen Anzeigen stecken, wirkt es so, als würden sie nicht richtig dagegen vorgehen. Es gibt zwar die Filtertricks für uBlock Origin, die ich auf HN gelernt habe, aber die Suche selbst muss Google reparieren. Derzeit werden nützliche Inhalte blockiert und Spam-Inhalte weit oben gerankt.
Früher rümpfte man die Nase über Tricks wie sehr kleine, transparente Keywords, die für Crawler sichtbar waren, aber nicht für Nutzer. Doch in dem Moment, in dem die Manipulation von Suchmaschinen zum Beruf wurde, begann man das Ende der Suche zu sehen.
Am Ende werden wir wohl zu Webrings und Link-Indizes zurückkehren, und auch diese werden nach Konsolidierung und starker Monetarisierung wieder aufgegeben werden. Mit etwas Glück kehren wir in den 2040ern vielleicht zu Dial-up-BBS zurück.
Aber Google scheint darauf zu beharren, KI darauf zu trainieren, dieselbe Aufgabe schlechter zu erledigen, obwohl sie Menschen einstellen könnten, die die Arbeit gut machen.
Das wirkt wie eine einfache Funktion, aber Google hat schon vor langer Zeit den Weg verloren.
Er blockiert und versteckt Klonsites in mehreren Suchmaschinen. Man kann ihn auch zusammen mit uBlacklist verwenden.
Das ist Googles Scheitern bei der Innovation
Googles Ziel war es, „die Informationen der Welt zu organisieren“, aber es hat es nicht geschafft, Wikipedia zu schaffen, ein hochwertiges, für Menschen gut lesbares Repository kuratierter Informationen, und auch nicht ChatGPT, das erste LLM, das gut genug war, um nichttriviales Erinnern und Organisieren von Informationen zu leisten.
Nachdem Google früh mit der Suche Erfolg hatte, versuchte es, seine Führungsposition zu festigen, indem es „die klügsten Leute“ mit Geld überschüttete, damit Wettbewerber sie schwerer einstellen konnten. Das Ergebnis war eine Situation, in der es sinnvoller wurde, Ressourcen dafür einzusetzen, den bestehenden Vorsprung durch Kontrolle über Internet-Infrastruktur wie Android, Chrome und E-Mail zu verteidigen, statt zu innovieren.
Wenn sich nichts sehr Grundlegendes ändert, halte ich Google für eine wandelnde Leiche. Mit „die klügsten Leute“ sind hier Menschen gemeint, die akademisch erfolgreich waren, sich aber gut an Regeln halten, wenig Vorstellungskraft haben und Risiken meiden.
Da Google ihn aber nicht der Öffentlichkeit zugänglich gemacht hat, ist es zwar ein Innovationsversagen, aber kein Versagen auf der technischen oder Machine-Learning-Seite.
https://ai.googleblog.com/2020/01/towards-conversational-age...
Meine Interpretation ist, dass Google unter seinem eigenen Gewicht zusammengebrochen ist. Staatliche Geldstrafen und eine Unternehmensstruktur, die begann, diese Strafen zu fürchten, verlangsamten den Fortschritt; in so einem Umfeld ist es sehr schwierig, Veränderungen auszurollen.
Mit der Baseline ist es genauso. Menschen reagieren auf Veränderung und betrachten den bestehenden Zustand als Goldstandard. In so einer Lage ist es schwer, radikale Veränderungen einzuführen.
Ich denke, der einzige Ausweg ist, die Produkte zu verkleinern. Ob man sie aufspaltet oder shardet: Sie müssen im Verhältnis zum Rest klein genug werden, um nicht zum Standardziel zu werden. Unternehmen wie Coca Cola oder Procter & Gamble machen das gut.
Alles, was politisiert werden kann, wird politisiert, und alles, was genutzt werden kann, um irgendeine Agenda oder Sichtweise voranzutreiben, wird genutzt.
Unabhängig von böser Absicht gibt es wegen der Freiwilligenbasis auch Artikel, in denen relevante Informationen fehlen oder Fehler enthalten sind.
In der Planetenforschung hatte ich die Angewohnheit, bei Google nach Bild-IDs zu suchen.
Meist ging es um bestimmte Bilder aus der Mondumlaufbahn, die in Papers erwähnt wurden; natürlich gibt es auch spezielle Archive für solche Suchen, aber Google lieferte überraschend gute Ergebnisse.
Heute bekomme ich bei der Suche nach einer Bild-ID buchstäblich 0 Ergebnisse. Ich weiß nicht, was sich geändert hat. Ich frage mich, ob sie den Index des Planetary Data System entfernt haben oder den Index von planetenwissenschaftlichen Papers.
Schlimmer als gar keine Ergebnisse ist, wenn seitenweise „Ergebnisse“ auftauchen, die leicht andere Zahlen oder Codes enthalten.
Heute bekomme ich keine Ergebnisse oder nur irrelevante suchmaschinenoptimierte Artikel.
Korrektur: Ich hatte übersehen, dass es nicht um die Suche nach Bildern, sondern nach Bild-IDs geht.
Die meisten Word-Embedding-Modelle davor waren einsprachig und betrachteten keinen Kontext, weshalb sie für die Suche nicht nützlich waren; deshalb musste Google einen invertierten Index und über Jahre angepasste Algorithmen verwenden.
Seit BERT kann man ein Modell bauen, das Suchanfragen in 99,99 % der Sprachen einbettet, und für 99 % der Anfragen ungefähr gut funktioniert; offenbar hält man das für ausreichend.
Es wäre wohl relativ einfach gewesen zu erkennen, welche Anfragen im alten Index besser funktionierten als im neuen Verfahren, aber anscheinend haben sie das nicht getan. Dadurch ist viel Nützlichkeit verloren gegangen, etwa die Suche nach Telefonnummern.
Googles Niedergang geht tiefer als das Korpusproblem, auch der Ranking-Algorithmus wird massiv schlechter.
Vor einer Woche brachte die Suche nach
< James Palmer manchester foreign policy >https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... nicht auf der ersten Seite, aber< James Palmer manchester site:foreignpolicy.com >fand es.Heute scheint das behoben zu sein, aber dass nicht einmal eine Suchintention auf Kindergartenniveau erfüllt wird, wäre bei Google vor ein paar Jahren kaum vorstellbar gewesen.
https://twitter.com/BeijingPalmer/status/1670904508191322112
https://twitter.com/shalmanese/status/1670973880637493249
Das ist die Internet-Version der Tragödie der Allmende: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
Zu viele Menschen und Gruppen versuchen, mit möglichst wenig Aufwand Profit zu ziehen, wodurch gemeinsame Ressourcen wie frei zugängliche Daten, offene APIs, FLOSS-Software usw. ohne Rücksicht auf langfristige Auswirkungen aufgezehrt werden.
Daten können endlos kopiert werden, aber anfangs muss sie jemand erzeugen; wenn sie nicht aktualisiert werden, veralten sie und verlieren an Nutzen. Wenn niemand willens und in der Lage ist, sie zu erzeugen oder zu pflegen, verschwindet das Gute, und das Signal-Rausch-Verhältnis bricht rapide zusammen. Am Ende ist alles Rauschen und miserabel.
Viel Technik und Kultur wurde ohne einen solchen „Schutz“ geschaffen. Ich frage mich manchmal, wie die jüngere Geschichte verlaufen wäre, wenn es kein Urheberrecht und keine Patente gegeben hätte.
Vor langer Zeit war Google auch ohne Reddit sehr nützlich.
Es gab einen Grund, warum es zu einem Großunternehmen wurde: Es baute tatsächlich gute Tools und Dienste. Die Leute nutzten die Produkte, weil sie gut waren, und Dinge wie Search, Gmail, Maps und Translate waren allesamt Juwelen.
Ich weiß nicht, ob sie die Suche vernachlässigt oder absichtlich kaputtgemacht haben, aber kaputt ist sie jedenfalls, unabhängig von Reddit. Auf Reddit gibt es viele Informationen, aber es ist nicht die einzige Website im Internet.
Google wirkt jedoch so, als würde es nur noch die obersten 150 bis 200 Websites im Internet indexieren, und selbst in diesen Ergebnissen fehlen häufig die Suchbegriffe.
Alle erkannten, dass man mit Pageviews und Suchmaschinenoptimierung Geld verdienen kann, und es entstand ein Wettlauf nach unten darum, bei jedem Suchbegriff auf Platz 1 zu stehen.
Selbst wenn Google das Problem vollständig aus einer nutzerzentrierten Perspektive angehen würde, wirkt es schwer lösbar; hinzu kommt, dass Google nach Sundar im Grunde zu IBM/Oracle geworden ist. Deshalb kreist es nun mit doppelter Geschwindigkeit um den Abfluss.
In dem Moment, in dem sie anfingen, Leute dafür zu bezahlen, ihre Suchmaschine zu manipulieren – also mit der Einführung von AdSense –, geriet das Ganze auf den Weg in die Nutzlosigkeit. Diese Anreize gab es wohl ohnehin, aber Google hat ihnen 2022 mit einem 33-Milliarden-Dollar-Anreiz den Turbo verpasst.
Denn wenn die Umsätze mit Suchanzeigen steigen, ist die Suche in Ordnung und wirkt weder verrottet noch kaputt.
Wir gehen davon aus, dass Google Nutzer als Kunden behandelt, tatsächlich könnte es sie aber wie eine ausbeutbare natürliche Ressource behandeln.
Wikipedia hat herunterladbare Daten-Dumps, deren Bereitstellung für Google kaum Kosten verursacht, und die Organisation hat außerdem den Auftrag, diese Daten öffentlich zugänglich zu machen.
Selbst wenn Wikipedia sich entschiede, Zugangsgebühren zu verlangen, könnte Google sich das leisten. Man sollte besser keine völlig unrealistischen Annahmen aufstellen.
Auch was den Artikel betrifft, war es schwer, Redactle bei Google nach oben zu bringen, weil werbeüberladene, schlecht implementierte Versionen zu Link-Farm-Gruppen gehörten. Viele davon gaben vor, meine Marke „Redactle Unlimited“ zu sein.
Google scheint Bündel von Spam-Seiten, die sich gegenseitig verlinken, stärker zu mögen als Tausende Links von verifizierten Nutzern auf Reddit, Facebook usw.
Aber was wäre, wenn Wikipedia 10 % des Umsatzes verlangen würde, wenn Wikipedia-Daten zur Anzeige von Suchergebnissen verwendet werden? Ich frage mich, ob Google zustimmen oder einen Wikipedia-Konkurrenten bauen und ihn vier Jahre später einstellen würde.
Das System ist so komplex, dass es sehr schwer vorherzusagen ist, wie es sich verhält, wenn Teile davon durch andere Beschränkungen beeinflusst werden. Reddit vs. OpenAI beim Data Scraping, Reddits Wunsch nach Monetarisierung, Reddit-Moderatoren, die gegen die Regeln protestieren, die unbefristete Verlängerung eines zweitägigen Blackouts und die Situation, dass Googles LLM-Paper über ChatGPT das eigene Geschäft beeinflusst – all das ist miteinander verflochten.
Das eigentliche Meta-Problem hier ist die alte Frage nach der Finanzierung von Webdiensten, einschließlich der Suche.
Google, Twitter, Reddit und Gfycat sind alles unmittelbare Varianten desselben Problems, und dafür gibt es keine technische Lösung. Die naive Vorstellung, all das könne kostenlos sein, ist absurd – besonders wenn man das innerhalb eines von Werbeumsätzen getragenen Ökosystems behauptet.
Irgendjemand muss die Entwicklungs- und Betriebskosten bezahlen, und normalerweise hat derjenige, der zahlt, auch die Entscheidungsgewalt; das führt zu den modernen UX-Katastrophen.
Zumindest gibt es derzeit dank der Lage beim Venture Capital deutlich weniger faktisches Product Dumping, das darauf abzielt, den Markt legitimer Teilnehmer zu zerstören.
Es wird für diejenigen gemacht, die bezahlen – also für die Investoren.
Googles Problem ist heute weder Reddit noch Twitter.
Google ist inzwischen zu einer Marke geworden, die voller wirklich miserabler Ergebnisse und AdWords-Kampagnen ist, und es ist unklar, wofür Marketer eigentlich bezahlen.
Sie sollten wohl zu Brins und Pages ursprünglichem Paper zurückkehren: https://research.google/pubs/pub334/
Google leistet immer noch Erstaunliches, etwa mit AlphaZero oder Project Zero, aber wie einst bei Xerox PARC fühlt es sich so an, als käme aus der Organisation nichts wirklich Neues mehr.
Gleichzeitig sind Google Workspace, zum Beispiel Sheets und Docs, gute Wettbewerber im Office-Bereich. Die geschäftliche Umsetzung ist gut, aber die Google-Drive-Suche ist miserabel.