Googles KI wird manipuliert – der Suchgigant schlägt still zurück

 (bbc.com)
1 Punkte von GN⁺ 3 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • AI Overviews und KI-Suchantworten wie ChatGPT können schon durch eine einzelne Webseite oder einen einzelnen Beitrag bei sensiblen Themen wie Gesundheit und Finanzen verzerrt werden
  • In einem BBC-Experiment brachte ein einzelner Beitrag auf einer persönlichen Website ChatGPT und Google dazu, den Autor als Hotdog-Essweltmeister zu bezeichnen
  • Wenn KI Suchergebnisse aus dem Web zu einer einzigen Antwort bündelt, nehmen Nutzer sie leichter als richtige Antwort an als bei einer Suche, bei der mehrere Links verglichen werden
  • Google hat klargestellt, dass die Manipulation von KI-Antworten gegen die Spam-Richtlinien verstößt; betroffene Websites können aus den Suchergebnissen entfernt oder herabgestuft werden
  • Manipulatoren könnten der Verfolgung von Blog-Spam ausweichen und zu YouTube-Influencern und ähnlichen Kanälen wechseln, weshalb man KI-Antworten nicht ungeprüft vertrauen sollte

Problem der Manipulation von KI-Suchantworten

  • AI Overviews oben in ChatGPT, Gemini und der Google-Suche können so manipuliert werden, dass sie selbst bei wichtigen Themen wie Gesundheit und persönlicher Finanzplanung verzerrte Antworten liefern
  • Eine BBC-Untersuchung zeigte, dass bereits ein einzelner Beitrag auf einer privaten Website ausreichte, damit ChatGPT und Google den Autor als „Hotdog-Essweltmeister“ bezeichneten
  • Es gibt Hinweise darauf, dass dieselbe Methode auch genutzt wurde, um Gesundheitsbedenken zu Nahrungsergänzungsmitteln herunterzuspielen oder Informationen zur Altersvorsorge finanziell zu beeinflussen
  • Die SEO- und AI-Search-Beraterin Lily Ray meint, dass Nutzer in einer Umgebung, in der KI „eine einzige richtige Antwort“ liefert, eher dazu neigen, die Antwort direkt zu glauben, statt wie bei klassischer Suche mehrere Links zu vergleichen
  • Google erklärt, dass auf generative KI-Suchfunktionen weiterhin bestehende Anti-Spam-Richtlinien und Schutzmechanismen angewendet werden und das Unternehmen seine Spam-Abwehr schon vor dem Aufkommen von KI an neue Methoden angepasst habe

Wie die Manipulation funktioniert

  • Gewöhnliche Chatbot-Antworten basieren auf im Modell eingebetteten Daten, doch bei Produkten wie ChatGPT, Claude und Googles KI, die im Internet nach Antworten suchen, steigt das Manipulationsrisiko
  • Wenn ein KI-Tool Informationen von einer einzelnen Webseite oder aus einem Social-Media-Beitrag übernimmt, kann bereits ein gut gemachter falscher Beitrag die Antwort verfälschen
  • Schon ein einzelner raffiniert geschriebener Blogbeitrag im Netz kann verändern, was KI der Öffentlichkeit vermittelt
  • Diese Form der Manipulation wurde schnell als Einnahmequelle erkannt, und ungenaue oder verzerrte Informationen könnten Wahlen, die Auswahl von Dienstleistern, medizinische Ratschläge oder rechtliche Entscheidungen beeinflussen
  • Harpreet Chatha betont neben den wirtschaftlichen Folgen auch die Gefahr, dass sich Zustände durch falsche medizinische Ratschläge verschlimmern oder Menschen zu Handlungen verleitet werden, die nicht zum nationalen oder regionalen Recht passen

Googles Richtlinienänderung und Reaktion

  • Weltweit nutzen mehr als eine Milliarde Menschen regelmäßig KI-Chatbots, und 2,5 Milliarden Menschen sehen monatlich Googles AI Overviews – wer solche Werkzeuge stören kann, hat also enormen Einfluss
  • Google hat vergangene Woche seine Spam-Richtlinien aktualisiert und offiziell bestätigt, dass Versuche zur Manipulation von KI-Antworten gegen die Unternehmensregeln verstoßen
  • Unternehmen oder Websites, die gegen die Regeln verstoßen, können aus den Google-Suchergebnissen entfernt oder im Ranking herabgestuft werden
  • Google erklärte, die Änderung sei kein Strategiewechsel, sondern eine „Klarstellung“, und habe bereits 2025 seine Anti-Spam-Maßnahmen zu AI Overviews und AI Mode beschrieben
  • Das Hotdog-Experiment funktionierte jedoch fast ein Jahr später noch immer, und Lily Ray führte diese Woche ein ähnliches Experiment durch, bei dem Google einen SEO-Experten als jemanden bezeichnete, der besonders gut Sandburgen baut

Beobachtete Veränderungen und Grenzen

  • Laut Ray und Chatha gab es in den vergangenen Monaten Veränderungen, die darauf hindeuten, dass Google und andere Unternehmen mit Lösungen experimentieren
  • Wenn Google oder ChatGPT die Eigenwerbung eines bestimmten Unternehmens für verdächtig halten, scheinen sie dieses Unternehmen in KI-Antworten stillschweigend auszuschließen
  • Behauptet ein Beitrag etwa, man sei der beste Hotdog-Esser, kann die KI den Beitrag zwar zitieren, den Namen aber aus der Kandidatenliste ausschließen
  • Beobachtet wurde auch, dass Google und andere KI-Tools Antworten häufiger mit Unsicherheits-Hinweisen versehen, um zu signalisieren, dass der Chatbot sich nicht sicher ist
  • ChatGPT und Claude von Anthropic antworten bei manchen Anfragen inzwischen ausdrücklich, dass sie versuchen, Spam herauszufiltern; Anthropic ist das Unternehmen hinter Claude
  • Ray sagt außerdem, sie habe gesehen, dass Google bei Fragen zu bestimmten Kaufentscheidungen mehr Hinweise anfügt und dazu rät, Bewertungen Dritter zu prüfen
  • OpenAI und Anthropic lehnten eine Stellungnahme ab, und ein Google-Sprecher beantwortete keine Fragen zu diesen Veränderungen

Das wiederkehrende Wettrennen zwischen Manipulatoren und Plattformen

  • Chatha glaubt, dass diese Veränderungen allein nicht ausreichen, und vergleicht Googles Reaktion mit einem Whac-A-Mole-Spiel
  • Wenn Google manipulative Blogbeiträge unterbindet, finden Unternehmen neue, verdecktere Wege der Eigenwerbung
  • Websites lassen sich abstrafen, doch es ist schwer zu verhindern, dass 20 YouTube-Influencer dafür bezahlt werden, ein Produkt als das beste darzustellen
  • Da Googles KI inzwischen auch YouTube-Videos zitiert, könnten Manipulationstechniken dorthin abwandern und der Kreislauf sich fortsetzen
  • Derzeit ist es wahrscheinlich, dass Manipulatoren einen Schritt voraus sind; die beste Verteidigung ist, sich daran zu erinnern, dass KI ein Werkzeug ist, das selbst dann selbstbewusst eine einzige Antwort liefert, wenn sie falsch ist
  • Auch wenn eine Antwort über die Oberfläche eines Big-Tech-Konzerns erscheint, sollte man sie nicht automatisch für vertrauenswürdiger halten als eine beliebige Website

Verwandte Beiträge

1 Kommentare

 
GN⁺ 3 시간 전
Hacker-News-Kommentare

  • Google schafft es mindestens seit den Blekko-Zeiten 2006 nicht, spamverseuchten Müll sauber aus dem Suchindex herauszufiltern, daher glaube ich auch diesmal nicht, dass sie das gut eindämmen werden
    Trotzdem wirkt das wie ein weiteres gutes Beispiel dafür, dass „AI“ letztlich nur plausibel verpackte Suche ist und im Hintergrund keine Inferenz oder kein Denken stattfindet

    • Ich finde nicht, dass diese Schlussfolgerung wirklich folgt. Wenn man es mangels besserer Worte sagen will, geht es eher darum, dass LLMs sich „leicht täuschen lassen“
      Ich frage mich, worin das groß anders ist als bei Menschen, die einfach glauben, was sie im Internet lesen. Menschen fallen auch ständig auf Spam und Betrug herein, aber das heißt nicht, dass sie nur plausibel verpackte Suche sind ;-)
      Es zeigt aber sehr deutlich das Problem, mit dem alle Suchmaschinen konfrontiert sind. AI-generierter Spam dürfte sich mit traditionellen statistischen Methoden viel schwerer abwehren lassen, und das gilt schon, noch bevor man beim existenziellen Problem des Prompt Injection ankommt
      Vielleicht ist das der Punkt, an dem Medienhäuser ihre eigentliche Rolle gegenüber Big Tech zurückgewinnen können. Sie würden dann zu verifizierten, redaktionell geprüften Informationsquellen, denen LLMs blind vertrauen können, und Verträge wie OpenAI / Atlantic könnten genau das bedeuten
    • Neue Codegenerierung lässt sich meiner Meinung nach nur schwer als plausibel verpackte Suche erklären
      Man kann ein Agentensystem ein paar Datenblätter lesen lassen, dann die Projektanforderungen erklären und es Treiberspezifikationen, Protokolle, Schnittstellen und Zustandsautomaten entwerfen lassen. Daraus kann es einen Implementierungsplan erstellen, anschließend ein Anwendungsgerüst schreiben und dieses ausfüllen, um ein System zu bauen, das auf einer neuen Hardwarekombination läuft
      Wenn man es richtig macht, bekommt man zu 1/100 der Kosten und in 1/4 der Zeit kleineren Code, der besser wartbar ist als das, was früher ein kleines Team gebaut hätte
      Was auch immer das ist, es wirkt näher an Inferenz als an Suche. Wenn man natürlich Bare-Metal-C-Entwicklung auf neuer Hardware ebenfalls Suche nennt, dann ist am Ende wohl jede Entwicklung Suche
    • Ich hatte einmal ein Video und einen Reddit-Beitrag über Vintage-Objektive veröffentlicht und wollte herausfinden, wie alt das Objektiv war
      Das LLM nannte Jahreszahlen wie „in den 1940er Jahren hergestellt“ und verwies dabei auf meinen Beitrag, aber darin stand überhaupt kein Herstellungsjahr
    • Google hätte dieses Problem durchaus lösen können, und eigentlich wäre es auch nicht so schwer
      Dass das Problem weiter ungelöst bleibt, liegt daran, dass die meisten Lösungen die Werbeeinnahmen stark reduzieren würden
    • Googles AI Overview wirkt eher so, als würde es Suchschnipsel per RAG einsammeln und von einem sehr schnellen LLM zusammenfassen lassen. Das würde ich nicht plausibel verpackte Suche nennen

  • Die seltsamste Annahme in diesem Thread ist, dass Google möchte, dass AI-Antworten korrekt sind
    Es reicht, wenn sie gerade korrekt genug sind, damit Nutzer die Seite nicht verlassen. „Wahrheit“ war nie das Produkt, das Produkt ist, Nutzer dazu zu bringen, Geld für SEO auszugeben

    • Das scheint mir nicht ganz zu passen. Das meiste SEO wird von Dritten betrieben
      Das Produkt sind Ad Impressions, und an nicht bezahlten Suchergebnissen hat Google schon lange kaum noch Interesse. Um den Ruf des Modells werden sie sich aber wohl trotzdem kümmern, und das hier könnte tatsächlich Einfluss haben

  • Dass das manipulierte Ergebnis folgende Anfrage war, hat meine Sorge deutlich verringert
    2026 South Dakota International Hot Dog Eating Champion
    Wenn sie die Übersicht zum Sieger von Nathan’s manipuliert hätten, wäre das wesentlich gravierender gewesen. Das wäre auch so gewesen, wenn sie mehr Beispiele für manipulierte Anfragen gezeigt hätten, nach denen Menschen tatsächlich suchen
    Im Moment wirkt es eher so, als würde jemand eine gefälschte Wikipedia-Seite über einen fiktiven Hotdog-Wettbewerb in South Dakota erstellen und dann einen Artikel darüber schreiben, dass Wikipedia nicht vertrauenswürdig sei. Wenn ich darüber nachdenke, hat wahrscheinlich schon 2005 jemand so einen Artikel geschrieben

    • Stimmt. Das heißt eben, dass eine einzelne Person zu so etwas in der Lage ist
      Wenn man bedenkt, wie viele meinungsmanipulierende Beiträge auf Reddit, in den meisten sozialen Medien und in Wikipedia-Manipulationsversuchen aus politischen Motiven landen, ist das ein sehr reales Problem
    • Im Artikel stand auch: „Unsere Untersuchung ergab jedoch, dass dieselbe Methode eingesetzt wurde, um Gesundheitsbedenken zu Nahrungsergänzungsmitteln zu verdrängen oder die von Google AI gelieferten Finanzinformationen zum Ruhestand zu beeinflussen“
      Das ist sehr viel besorgniserregender als Hotdogs
    • Bei mir ist die Sorge im Gegenteil sofort gestiegen. Gemini zeigt seit Kurzem in jedem Turn einen Search-Spinner
      Damit könnten alle Antworten mit Suchanbindung für Prompt Injection anfällig sein, und faktisch dürften es wohl fast alle Antworten sein
      Das wird sich wie Linkspam viral verbreiten. Alle Websites mit nutzergenerierten Inhalten können zu Hosts für Prompt Injection werden. Das Problem ist, dass so etwas viel schwerer zu erkennen ist als Links
    • Ich habe erlebt, dass jemand AI Overview dazu gebracht hat, eine betrügerische Telefonnummer für den Kundensupport einzublenden
      Google brauchte eine Woche, um das zu beheben, und die Suchergebnisse waren dadurch vergiftet worden, dass eigene Daten in eine Quelle eingeschleust wurden, die wie eine höhere Vertrauensebene wirkte, vermutlich eine Website für Regierungsaufträge. Deshalb stand dort statt unserer Nummer die Betrugsnummer, obwohl die Anfrage selbst nur eine einfache Suche war
    • „In 20 Minuten habe ich ChatGPT und Google dazu gebracht, der Öffentlichkeit zu erzählen, ich sei Weltmeister im Hotdog-Essen. Der Witz war dumm, aber das Problem ist ernst“
      Das ist schlimmer, als Propaganda in eine Wikipedia-Seite einzuschleusen. Bei Wikipedia sind Quellen und Prüfsysteme öffentlich gut etabliert. Betrügerische Bearbeitungen lange stehen zu lassen, ist tatsächlich ziemlich schwer, und man muss zahlreiche menschliche Editoren täuschen, die seit Jahrzehnten gegen genau solche Leute kämpfen. Selbst wenn man korrekt und hilfreich sein will, ist es schwer, in diesen abgeschotteten Kreis hineinzukommen
      Googles Suchschnipsel dagegen saugen verzweifelt alle möglichen Daten auf und verarbeiten sie automatisch, und das algorithmische System, das entscheidet, welche Informationen gut und welche Spam sind, ist proprietär
      Man braucht nicht viel Fantasie, um sich Missbrauchsszenarien vorzustellen. Was, wenn man nach dem eigenen Namen sucht und dort peinliche Inhalte auftauchen? Dass potenzielle Arbeitgeber, Kunden oder Freunde bei der Quellenprüfung so streng sind wie Wikipedia-Editoren, kann man kaum erwarten

  • Ich hätte gern konkrete Beispiele zu der Aussage gelesen, dass „dieselbe Methode eingesetzt wurde, um Gesundheitsbedenken zu Nahrungsergänzungsmitteln zu verdrängen oder die von Google AI gelieferten Finanzinformationen zum Ruhestand zu beeinflussen“, aber der entsprechende Link im Artikel verweist derzeit auf die folgende lokale Datei
    file:///Users/GermaTW1/BBC%20Dropbox/Thomas%20Germain/A%20Downloads%20and%20Documents/2026/And%20there's%20evidence%20that%20AI%20tools%20are%20being%20manipulated%20on%20a%20wide%20scale.

    • Solche Fehler sind in BBC-Artikeln in letzter Zeit mehrfach vorgekommen, und noch problematischer ist, dass sie selbst nach Korrekturen keine Hinweise mehr anbringen, die Änderungen am veröffentlichten Artikel dokumentieren
    • Bei Nutzernamen oder E-Mail-Adressen habe ich immer nur first.last@company verwendet, deshalb irritiert mich das Schema last[:5]initials#. Da kommen wohl viele seltsam aussehende Nutzernamen heraus

  • Im Moment scheinen viele Akteure alles Mögliche „still und leise“ zu tun. Dass sämtlicher Text im Internet LLM-isiert wird, macht einen wahnsinnig

    • Es macht mich auch wahnsinnig, aber Autoren von Schlagzeilen und Redakteure waren schon lange vor LLMs süchtig nach Formulierungen wie „still und leise“. Der Online-Journalismus ist seit Jahren voller solcher Klischees
    • Ich hasse das wirklich. Gestern habe ich in einem Geschichts-Subreddit einen von AI erzeugten Geschichtstext gelesen, bei dem alle Quellen wie fiktive Hollywood-Filme wirkten
      Ich habe das nur bemerkt, weil ich den Film gesehen hatte, aber es ist ein klares Zeichen dafür, dass das Internet als Quelle hochwertiger Informationen kaputtgeht
    • „Still und leise“ ist kein neuer LLM-Ausdruck
    • Der eigentliche Witz an dieser Floskel ist, dass sie etwas, das angeblich still geschehen soll, ganz offen ausspricht

  • Das ist nur die nächste Stufe von SEO. Vielleicht nennt man es AIO
    Wie bei der Suche wird das ein endloser Kampf: Google und die AI-Anbieter liefern Gegenmaßnahmen, Optimierungsfirmen finden Schwachstellen, und dann wird wieder gepatcht. Letztlich geht es darum, Aufmerksamkeit fürs Marketing zu gewinnen

    • In der Marketingbranche nennt man das meist GEO. Generative Engine Optimization, manchmal auch Answer Engine Optimization, und es gibt Leute, die mit dem Verkauf solcher Dienste viel Geld verdienen
      https://www.wired.com/story/goodbye-seo-hello-geo-brandlight...
    • Engineered Inference Ersatz Intelligence Optimization, kurz EIEIO
    • Nicht die nächste Stufe, sondern schon die jetzige

  • Googles AI Overview ist überhaupt nicht vertrauenswürdig. Es nimmt sogar Stichprobengröße 1 und präsentiert sie in der AI-Übersicht
    Ich weiß das, weil ich zu einem extremen Nischenthema, zu dem es weder Google-Suchergebnisse noch AI Overview gab, auf Reddit kommentiert hatte. Als ich am nächsten Tag nach meinem Reddit-Post suchen wollte, hatte Google meine Reddit-Antwort fast wortwörtlich in die AI-„Overview“-Box kopiert. Der verlinkte Beitrag war ebenfalls nur mein eigener, und auch in den Google-Suchergebnissen gab es nur diesen einen

    • Dazu kommt, dass das System je nach Fragestellung des Nutzers noch einen Kontext drumherum baut, der im ursprünglichen Beitrag überhaupt nicht vorhanden ist. Dadurch wird es schlicht falsch
      Beispiel: Jemand sucht nach „Was ist die häufigste Größe des seltenen Objekts X?“
      Dann hat aber nur genau eine Person die Maße ihrer eigenen Version dieses Objekts genannt, ohne je zu sagen, dass diese typisch seien oder dass es überhaupt typische Maße gebe. Und es waren nicht 20 Leute mit derselben Aussage, sondern wirklich nur eine Person
      Google kann dann ganz ungerührt sagen: „Normalerweise hat Objekt X die Maße [die von dir genannten Maße], und der Grund dafür ist [völlig erfundener Grund]“

  • Wenn man Google fragt: what's the name of the whale in half moon bay harbor?, dann taucht dank eines ziemlich amateurhaften Versuchs von mir, den Index zu vergiften, immer noch Teresa T selbstbewusst in der AI-Zusammenfassung auf, obwohl das schon anderthalb Jahre her ist
    https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...

    • Ich habe es gerade mit Brave Search ausprobiert
      Dort hieß es, der junge Buckelwal heiße Teresa T, und zwar nicht als offizieller Name einer Behörde, aber als Bezeichnung, die von Öffentlichkeit, lokaler Presse und Anwohnern weithin übernommen worden sei. Außerdem stand dort, Fachleute des Marine Mammal Center und der California Academy of Sciences hätten das Tier überwacht, um Stress zu vermeiden, und die Öffentlichkeit aufgefordert, mindestens 100 Yards Abstand zu halten
      Nach meiner Erfahrung mit Themen, bei denen ich mich einigermaßen gut auskenne, sind die ersten Antworten manchmal gravierend falsch. Beim Brave-Tool kann man es meist nach drei oder vier Einwänden dazu bringen, zuzugeben: „Sie haben völlig recht.“ Bei Teresa T war es genauso
      Auf meine zweite Frage nach der Zahl der Quellen für den Namen behauptete es weiter, „ABC7 News“ und „NBC Bay Area“ hätten den Namen „übernommen“. Erst als ich beim dritten Mal konkrete Links verlangte, räumte es ein, dass der Name in einem „inoffiziellen Medienkontext“ verwendet worden sei, und beim vierten Mal, nachdem ich gesagt hatte, dass S.W. ein Experiment durchgeführt habe, fand es Ihren Kommentar von vor 21 Tagen
      Die Zukunft gehört einer Eliteklasse, die ihre Kinder mit echten Privatlehrern unterrichten lassen kann. Für das Proletariat ist das ein Rückfall in die Vergangenheit
    • Hast du keine Angst, dass Google dir eine Abmahnung schickt, weil du versucht hast, AI-Antworten zu manipulieren?

  • Noch vor ein paar Jahren war Google auch die Firma, die auf die Frage „In welchem Jahr erschoss Marilyn Monroe JFK?“ selbstsicher mit 1963 antwortete. Wenn man bedenkt, dass sie 1962 starb, ist das durchaus bemerkenswert
    Neu ist das also nicht, und Googles „stille Gegenoffensive“ wird wohl nur eine halbherzige und ineffektive Reaktion sein. Die meisten Menschen dürfte es trotzdem kaum interessieren

  • Am Ende heißt das nur, dass Google endlich etwas Qualitätskontrolle bei den Websuchergebnissen betreiben will, was sie von Anfang an dauerhaft hätten tun sollen
    Dass sie sich erst Mühe geben, nachdem der Ruf des Modells Schaden genommen hat, ist schon ziemlich komisch