Google hat einen kompletten Bear Blog aus dem Suchindex entfernt – aber der Grund ist unbekannt

 (journal.james-zhan.com)
1 Punkte von GN⁺ 2025-12-13 | 1 Kommentare | Auf WhatsApp teilen
  • Der persönliche Blog blog.james-zhan.com wurde nur einen Monat nach dem Start vollständig aus dem Google-Suchindex entfernt
  • Unmittelbar nachdem in der Google Search Console (GSC) versehentlich eine RSS-Feed-URL validiert wurde, wurden alle Beiträge mit dem Status „Gecrawlt – zurzeit nicht indexiert“ angezeigt
  • Mehrere mögliche Ursachen wie Domain-Einstellungen, Content-Qualität und interne Linkstruktur wurden geprüft, doch es wurde kein Problem festgestellt
  • Mit Hilfe von Bear-Blog-Gründer Herman wurden auch DNS, HTML/CSS und Plattformprobleme ausgeschlossen; in anderen Suchmaschinen wird der Blog normal indexiert
  • Schließlich wurde der Blog auf eine neue Subdomain verschoben und man entschied sich, die natürliche Indexierung durch Google abzuwarten; die Ursache bleibt weiterhin unklar

Ausgangslage

  • Der Blog wurde am 4. Oktober gestartet, und der erste längere meinungsstarke Artikel im Stil einer Kolumne wurde veröffentlicht
    • Nach dem Einreichen der Sitemap in der Google Search Console (GSC) und einer Indexierungsanfrage erschien er bereits am nächsten Tag in den Suchergebnissen
    • Danach wurde bei jedem neuen Beitrag erneut eine Indexierung angefragt, was jeweils normal funktionierte

Das Problem tritt auf

  • Am 14. Oktober sah der Autor in der GSC die Meldung, dass eine URL nicht indexiert sei, und klickte auf „Validate“
    • Bei der betreffenden URL handelte es sich um den RSS-Feed (feed/?type=rss) und nicht um eine echte Seite
  • Am 20. Oktober wurden nach einer GSC-E-Mail mit dem Hinweis „einige Korrekturen fehlgeschlagen“ alle Beiträge deindexiert
    • Die Statusmeldung lautete: „Page is not indexed: Crawled – currently not indexed“
    • Weder das erneute Einreichen der Sitemap noch einzelne Indexierungsanfragen für URLs hatten irgendeine Wirkung

Ursachenforschung

  • Der Tag, an dem die Indexierungsvalidierung gestartet wurde, und der Tag, an dem alle Beiträge nicht mehr indexiert wurden, sind identisch
    • Ob der Versuch, den RSS-Feed zu validieren, das Problem ausgelöst hat, bleibt unklar
  • Auch später neu veröffentlichte Beiträge blieben alle in demselben Fehlerstatus
    • Am 3. November wurde schließlich sogar der letzte noch verbliebene indexierte Beitrag entfernt

Prüfung möglicher Ursachen

  • Domain-Problem: Die bei GoDaddy genutzte Domain james-zhan.com wird auf einer anderen Subdomain normal indexiert → nicht die Ursache
  • Content-Qualität: Im Vergleich mit anderen Bear-Blog-Fällen gibt es weder bei Menge noch Qualität der Inhalte ein Problem → nicht die Ursache
  • Zu wenige interne Links: Die Standardstruktur von Bear Blog ist identisch, andere Blogs werden normal indexiert → nicht die Ursache
  • Weitere Faktoren: Laut Prüfung durch Bear-Blog-Gründer Herman
    • DNS, HTML/CSS und Plattform-Konfiguration sind sämtlich in Ordnung
    • Auch benutzerdefinierter CSS-Code hat keinen Einfluss auf die Indexierung

Andere Suchmaschinen und Maßnahmen

  • In DuckDuckGo, Bing, Brave und anderen Suchmaschinen wird der Blog normal indexiert
    • Deshalb liegt die Vermutung nahe, dass das Problem auf Googles Seite liegt und kein technischer Defekt ist
  • Der Blog wurde auf eine neue Subdomain (journal.james-zhan.com) umgezogen
    • Die Domain wurde von GoDaddy zu Porkbun transferiert
    • URL-Weiterleitungen wurden eingerichtet, damit bestehende Links automatisch auf den neuen Blog verweisen
  • Für den neuen Blog wurde keine Sitemap in der GSC eingereicht; stattdessen wartet man auf die natürliche Indexierung
  • Die Ursache ist weiterhin ungeklärt, und der Autor stellt die Intransparenz von Googles Indexierungssystem infrage

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-12-13
Hacker-News-Kommentare
  • Der Traffic meines Blogs ist dieses Jahr stark eingebrochen. Bei der Ursachenanalyse kamen zwei Dinge heraus
    1. Es liegt an AI Overview. Sichtbarkeit und Ranking sind gleich geblieben, aber die Klickrate ist stark gefallen. Nutzer lesen nur die Zusammenfassung und klicken nicht.
    2. Es war ein Spam-Exposure-Problem. Auf der Suchseite wurde die Nutzeranfrage als h1 angezeigt, und Google hat das als Spam-Content erkannt.
      AI Overview kann ich nicht kontrollieren, aber nachdem ich auf den Suchseiten noindex hinzugefügt hatte, erholte sich der Traffic innerhalb einer Woche.
      Die Details habe ich in meinem Blogbeitrag zusammengefasst.
    • Das zweite Problem wirkt wie ein Negative-SEO-Angriff. Offenbar wurde die /search-Seite gecacht und Crawlern ausgeliefert.
      Suchseiten sollte man nicht cachen, und es ist besser, per X-Robots-Tag noindex zu setzen.
    • Irgendwann im September gab es wohl eine Änderung daran, wie Google Klicks und Impressionen zählt. Deshalb seien Vergleiche mit früheren Daten nicht mehr möglich.
      Künftig wird man den Traffic wohl mit eigenen Analyse-Tools verfolgen müssen.
    • Ich habe das Gefühl, Google hat diese Situation schon lange geplant.
      1. SEO-Seiten vermehren, damit nützliche Inhalte nach unten gedrückt werden
      2. Anzeigen oben platzieren und sie noch weiter verdrängen
      3. KI-Zusammenfassungen einführen, damit Nutzer keinen Grund mehr zum Klicken haben
        Jetzt sehen die Leute nur noch Zusammenfassungen und Werbung und gehen wieder.
    • Ich frage mich etwas. Wenn jemand in meinem Blog nach „crypto“ sucht, wie kann dann diese Ergebnisseite bei Google indexiert werden?
      Hat vielleicht eine andere Website auf diese Such-URL verlinkt, sodass sie gecrawlt wurde?
    • AI Overview wird wohl nicht verschwinden. Normale Nutzer lesen nur die Zusammenfassung.
      Wenn Google in den Zusammenfassungssätzen Quellenlinks setzen würde, könnte sich die Klickrate vielleicht etwas erholen.
  • Unabhängig davon, ob dieser Fall stimmt oder nicht, ist Googles intransparente Sanktionsstruktur das Problem.
    Wenn eine Website sanktioniert wird, kann man weder den Grund erfahren noch Einspruch einlegen.
    Google fungiert faktisch als Gatekeeper.
    Da es wie ein öffentliches Gut funktioniert, braucht es auch ein entsprechendes Support-System und Verantwortung.
    Regulierung ist kein Allheilmittel, aber bei Unternehmen dieser Utility-Größenordnung sollte es zumindest eine minimale Pflicht zur Zugangssicherung geben.
    • Das ist weniger ein Gatekeeper-Problem als eher ein Monopolproblem. Google besitzt sowohl den Indexer als auch das Suchwerkzeug.
    • Wenn Google ethische Verantwortung empfinden würde, müsste es den Werbebieterwettbewerb entschärfen, damit normale Websites auf der ersten Seite erscheinen können.
      Im Moment ist es so, dass man nur in der Suche sichtbar wird, wenn man Werbebudget bezahlt.
  • Vor sechs Monaten habe ich auf Empfehlung von Ahrefs Unicode-Zeichen aus dem URL-Pfad entfernt und Redirects eingerichtet.
    Danach fiel die Zahl indexierter Seiten von mehreren Tausend auf etwa 100.
    Siehe Screenshot.
    Auch nach sechs Monaten hat sich das nicht erholt. Für ein privates Projekt ist das okay, aber wäre es ein Geschäft gewesen, wäre ich wütend gewesen.
    Aktualisierter Screenshot
    • Wahrscheinlich hat Google Ressourcen auf KI konzentriert, und nachdem der Cache invalidiert wurde, wurden neu gecrawlte Seiten anders gerankt.
    • Google hat die Inhalte, die es braucht, bereits eingesammelt. Websites sind jetzt zu Konkurrenten für KI-Training geworden.
    • Die Lehre ist einfach — Wenn es funktioniert, lass die Finger davon.
    • Ich habe dasselbe erlebt. Tausende Seiten wurden deindexiert, und am Ende habe ich mein werbebasiertes Content-Business aufgegeben.
  • In Google Maps gibt es viele illegale Anzeigen. Nicht genehmigte Unterkünfte oder Alkoholhändler sind dort ganz offen eingetragen.
    Wenn sie lange genug betrieben werden, werden sie teils sogar als „Bestandsnutzung“ anerkannt.
    Ich habe sogar erlebt, dass Google-Maps-Screenshots vor Gericht als Beweismittel eingereicht wurden.
    • Ich bin davon auch betroffen gewesen. Ich suchte in Google Maps nach einem Schlüsseldienst in der Nähe,
      und in Wirklichkeit war es ein Betrugsunternehmen. Es beschädigte das Schloss und verlangte 600 Dollar.
      Nachdem ich es meldete, löschte Google den Eintrag schnell, aber ich finde, bei solchen Einträgen müsste schon bei der Registrierung eine Identitätsprüfung erfolgen.
    • Das erinnert mich an die Trap Streets, die Kartenmacher früher eingebaut haben.
      Das Problem ist, dass sich die Realität manchmal an die Karte anpasst.
    • Ich frage mich, ob solche Anzeigen anders behandelt werden als andere Werbung.
      In Verwaltungsverfahren wird es oft nach dem Muster „Wenn sich niemand beschwert, ist es wohl okay“ durchgewunken.
    • Das wirkt wie eine Art legal citogenesis — ein Phänomen, bei dem falsche Informationen zu offiziellen Dokumenten verfestigt werden.
  • In letzter Zeit ist die Qualität der Google-Suche stark gesunken.
    Meine Website wird fälschlich als Duplicate Content erkannt und deindexiert.
    Bei Bing gibt es dieses Problem nicht, nur Google macht solche Fehler.
    • Ich habe ein ähnliches Gefühl. Beliebte Modelle auf Hugging Face tauchen in der Suche nicht auf,
      und bei Reddit-Seiten werden nur in eine falsche Sprache übersetzte Versionen angezeigt.
      Wahrscheinlich funktioniert die Deduplizierungslogik nicht richtig.
    • Vielleicht sollte geprüft werden, ob SNI-Anfragen falsch geroutet werden.
      Wenn man auf einer anderen Domain einen Reverse Proxy aufsetzt, indexiert Google sie als Duplikat.
      Es ist besser, Canonical-Tags und Links mit absoluten Pfaden zu verwenden.
    • Amazon und Google sind beide voller Fake-Produkte und Spam-Ergebnisse.
    • Bing funktioniert für alle meine Websites gut, aber Google scheitert bei allen.
    • Die Google-Suche ist inzwischen fast nutzlos. Erstaunlich, dass sie ihre Kernkompetenz so verkommen lassen.
  • Ich hatte dasselbe Problem. Ich nutze das Hugo-Bear-Theme, und vor Kurzem wurde ich bei Bing vollständig deindexiert.
    Das war ein Blog, der 17 Jahre lang keine Probleme hatte.
  • Möglicherweise hat ein fehlgeschlagener RSS-Validierungsprozess das Spam-Flag ausgelöst.
    Da es zu viel Spam gibt, scheint die Zahl der False Positives gestiegen zu sein.
    • Wenn schon ein einzelner RSS-Fehler dazu führt, dass eine ganze Website deindexiert wird, ist das ein ernstes Problem.
      So ein Ansatz hat vielmehr den kontraproduktiven Effekt, den Anteil legitimer Inhalte zu senken.
  • Ehrlich gesagt habe ich beim Titel „Google de-indexed my Bear Blog“ zuerst gedacht, es gehe um einen Bären-Blog, und deshalb geklickt.
    • Wenn man einen echten Blog über Bären findet, könnte man unerwartete Ergebnisse sehen.
    • Ich weiß auch immer noch nicht, warum im Titel „Bear“ vorkommt.
    • Als quietfox ist es wichtig, sich selbst zu schützen ^^
  • Das hier ist ähnlich wie dieser frühere HN-Thread.
    Gemeinsam ist beiden, dass Google in einer Struktur steckt, in der es entscheidet, wer überlebt.
    • Als verwandtes Beispiel gibt es auch diesen Beitrag.
      Ein RSS-Fehler könnte einfach nur der Auslöser für Desinteresse gewesen sein.
    • Früher hatte TripAdvisor 60 % des britischen Marktes für lokale Bewertungen.
      Hat Google Maps wirklich so schnell aufgeholt?
      Auch der Einfluss von Instagram oder TikTok ist nicht zu unterschätzen,
      deshalb wirkt es wie eine Interpretation, die Google allein zu viel Macht zuschreibt.
  • Die Google-Suche bevorzugt große Websites und benachteiligt neue Seiten.
    Am Ende läuft es auf ein Henne-oder-Ei-Problem hinaus.
    Kleine Seiten bekommen keine Sichtbarkeit und können deshalb nicht wachsen,
    während große Seiten ohne Probleme weiter oben erscheinen.