Google ringt damit, bizarre KI-Antworten in der Suche manuell zu entfernen

• In sozialen Netzwerken wird derzeit viel über Beispiele diskutiert, in denen Googles neues Produkt „AI Overview“ merkwürdige Dinge sagt
  • etwa Nutzern zu raten, Klebstoff auf Pizza zu streichen oder Steine zu essen
• Dieser chaotische Start hat Google dazu veranlasst, AI Overviews für bestimmte Suchanfragen manuell zu deaktivieren
  • Während verschiedene Memes gepostet werden, beobachten Nutzer, dass diese kurz nach ihrer Verbreitung in sozialen Netzwerken wieder verschwinden

Googles AI Overview

• Google testet AI Overview seit einem Jahr
  • im Mai 2023 als Beta unter dem Namen Search Generative Experience eingeführt
  • CEO Sundar Pichai erwähnte, dass in diesem Zeitraum mehr als 1 Milliarde Suchanfragen verarbeitet wurden
• Pichai erklärte außerdem, die Kosten für die Bereitstellung von KI-Antworten um 80 % gesenkt zu haben
  • erreicht durch Hardware, Engineering und technische Durchbrüche
  • möglicherweise wurden diese Optimierungen jedoch zu früh vorgenommen, bevor die Technologie wirklich bereit war

Probleme mit der KI-Qualität

• Ein KI-Startup-Gründer bemerkte, dass Google inzwischen dafür bekannt sei, Ausgaben niedriger Qualität zu liefern
• Google behauptet, das Produkt AI Overview liefere überwiegend „hochwertige Informationen“
  • Googles Sprecherin Meghann Farnsworth bestätigte per E-Mail, dass man schnell Maßnahmen ergreife, um AI Overviews für einige Suchanfragen zu entfernen
  • außerdem arbeite man mit diesen Beispielen an breiteren Verbesserungen des Systems

Einschätzung von KI-Experten

• Gary Marcus, emeritierter Professor für Neurowissenschaften an der New York University, erklärte, viele KI-Unternehmen verkauften den Traum, dass die Technologie von 80 % auf 100 % kommen werde
  • die ersten 80 % seien relativ einfach, weil große Mengen menschlicher Daten angenähert werden
  • die letzten 20 % seien eine äußerst schwierige Aufgabe
  • in der Praxis könnte dafür Artificial General Intelligence (AGI) nötig sein

Googles Wettbewerbssituation

• Bing führte KI früher als Google ein
  • OpenAI entwickelt eine eigene Suchmaschine
  • neue KI-Such-Startups werden bereits mit 1 Milliarde Dollar bewertet
  • die jüngere Generation will die beste Erfahrung und wechselt zu TikTok
• Google spürt den Wettbewerbsdruck, was zu einem überhasteten KI-Start führt
  • 2022 brachte Meta ein KI-System namens Galactica heraus, zog es wegen Problemen wie der Empfehlung, Glas zu essen, jedoch schnell wieder zurück

Googles Pläne für AI Overview

• Google hat große Pläne für AI Overview.
  • Die aktuelle Funktion ist nur ein Teil dessen, was das Unternehmen vergangene Woche vorgestellt hat.
  • mehrstufiges Schlussfolgern bei komplexen Anfragen, von KI organisierte Ergebnisseiten, Videosuche in Google Lens
• Der Ruf des Unternehmens hängt derzeit jedoch davon ab, die Grundlagen richtig hinzubekommen, und das sieht momentan nicht besonders gut aus

Gary Marcus - „[Diese Modelle] sind grundsätzlich nicht in der Lage, ihre eigene Arbeit einer Plausibilitätsprüfung zu unterziehen, und genau das wird dieser Branche zum Verhängnis werden“

Meinung von GN⁺

• Vertrauensproblem bei KI: KI-Systeme haben eine strukturelle Grenze, weil sie ihre eigene Arbeit nicht verifizieren können. Das birgt das Risiko, Nutzern falsche Informationen zu liefern.
• Wettbewerbsdruck: Google steht unter Druck durch Konkurrenten, was die Qualität von Produktveröffentlichungen beeinträchtigen kann.
• Technische Herausforderung: Der Weg der KI von 80 % zu 100 % ist eine sehr schwierige Aufgabe. Das zeigt die Grenzen und Herausforderungen der KI deutlich.
• Nutzererfahrung: Die jüngere Generation will die bestmögliche Nutzererfahrung, und genau hier muss Google sich kontinuierlich verbessern.
• Andere Alternativen: Für Nutzer, die KI-Suchmaschinen in Betracht ziehen, können auch Bing oder neue KI-Such-Startups gute Alternativen sein.

[hhcrux]

„Viele KI-Unternehmen verkaufen den Traum, dass die Technologie von 80 % auf 100 % kommen wird“
Diesen Punkt denke ich mir auch immer wieder. Er ist für mich auch eine Grundlage für die Annahme, dass selbst in einer KI-Welt den Menschen die Arbeit nicht ausgehen wird.

[GN⁺]

Hacker-News-Diskussion

Zusammenfassung ausgewählter Hacker-News-Kommentare

• Googles Ansatz, Suchvorschläge manuell zu entfernen

  • Erinnert an einen früheren Fall, in dem Google versuchte, nicht manuell in Suchergebnisse einzugreifen, sondern stattdessen den Algorithmus selbst anzupassen.
  • Während eines Froogle-Tests im Jahr 2002 erschien bei der Suche nach "running shoes" eine Gartenzwerg-Statue als Top-Ergebnis.
  • Ein Ingenieur kaufte das betreffende Produkt und löste so das Problem. Dadurch wurden wieder die richtigen Ergebnisse angezeigt, ohne den Algorithmus zu ändern.

• Das Genauigkeitsproblem von KI

  • Die ersten 80 % Genauigkeit sind relativ leicht zu erreichen, aber die letzten 20 % sind sehr schwierig.
  • 100 % Genauigkeit sind ein Ziel, das selbst Menschen nicht erreichen können.
  • Das Ziel ist, offensichtlich dumme Antworten zu verringern.
  • LLMs (Large Language Models) erzeugen gute Texte, aber offensichtlich dumme Antworten zu entfernen, ist nicht immer das Richtige.

• Probleme mit Googles Suchqualität

  • Es gibt Kritik daran, dass Google durch den AI-Krieg die Richtung verloren habe.
  • Googles aktuelle Suchergebnisse seien voller Spam, Clickbait und Propaganda.
  • Es wird argumentiert, dass Suchergebnisse zumindest weithin anerkannte Wahrheiten widerspiegeln sollten.
  • Es ist wichtig, offensichtliches Trolling, Clickbait und böswillige Inhalte zu erkennen.

• Der Unterschied zwischen Suchmaschine und Fragemaschine

  • Eine Suchmaschine ist ein Werkzeug, um das Internet zu durchsuchen, nicht um Fragen zu stellen.
  • Über KI etwas zu fragen ist eine andere Tätigkeit, als im Internet zu suchen.

• Probleme bei Googles AI-Integration

  • Jedes Mal, wenn Google AI integriert, treten die gleichen Probleme erneut auf.
  • Wenn Probleme auftreten, kündigen Führungskräfte an, sie zu beheben, doch dieselben Probleme wiederholen sich.

• Probleme mit Googles Datensätzen

  • Es ist schockierend, dass Google trotz 25 Jahren Feintuning von Suchergebnissen offenbar keinen guten Datensatz hat.
  • Vielleicht müsste man Trainingsdaten mit alten Enzyklopädie-CDs erstellen.

• Seltsame Queries mit LLMs erzeugen und testen

  • Es herrscht Enttäuschung darüber, dass Google offenbar keine LLMs genutzt hat, um seltsame Suchanfragen zu generieren und zu testen.
  • Eine saubere Auslieferung hätte viele Vorteile.
  • Das aktuelle AI-Rennen könnte ein Wettlauf nach unten sein.

• Probleme mit frühen AI-Versionen

  • Die heutige AI ist in jeder Hinsicht schlechter als die klassische Suche.
  • Die Finger in AI-generierten Bildern sind beeindruckend.

• Halluzinationsprobleme von LLMs

  • Viele glauben, dass LLMs nur gelegentlich halluzinieren, tatsächlich passiert es häufiger.

• Die Ironie, AI-Ergebnisse manuell zu entfernen

  • Es ist ironisch, falsche AI-Ergebnisse manuell zu entfernen.