SlopStop: Kagi Searches Community-basiertes Erkennungssystem für KI-generierte Inhalte

• Um eine von KI-generiertem Spam und Content-Farmen verschmutzte Webumgebung zu säubern, führt Kagi Search das community-basierte Erkennungssystem „SlopStop“ ein
• SlopStop zeigt in den Suchergebnissen in Echtzeit einen „AI-slop-Score“ für KI-generierte Texte, Bilder und Videos an und ermöglicht es Nutzern, minderwertige Inhalte direkt zu melden
• Durch automatische Herabstufung auf Domain-Ebene und Filterfunktionen für KI-generierte Medien wird die Sichtbarkeit vertrauenswürdiger Informationen gestärkt
• SlopStop ist mit dem Projekt „Small Web“ verknüpft und priorisiert damit menschliche Kreative und authentische Inhalte
• Kagi will damit den weltweit größten Datensatz zu AI slop aufbauen und ihn künftig für Abwehrtechniken gegen KI-Halluzinationen und Desinformation nutzen

---

Definition von AI Slop und Kagis Reaktion

• AI slop bezeichnet täuschende oder wertarme KI-Inhalte, die mit dem Ziel erstellt werden, Suchrankings zu manipulieren oder Aufmerksamkeit zu erzeugen
  • Beispiele sind gefälschte Bewertungen, vorgetäuschte Expertise, falsche Informationen und auf Monetarisierung ausgerichtete Content-Farmen
• Kagi lehnt KI an sich nicht ab, stellt aber klar, dass KI-Inhalte, die menschliche Einsicht und Verbindung ersetzen, schädlich sind
• Kagis Philosophie ist eine „Sucherfahrung, bei der Menschen die Kontrolle haben“; minderwertige Seiten mit Fokus auf Werbung und Tracker wurden bereits herabgestuft
• SlopStop erweitert den bisherigen Bildfilter auf die Erkennung KI-generierter Inhalte über Videos, Artikel und Domains hinweg

Funktionsweise von SlopStop

• Den Suchergebnissen wurde eine Anzeige des AI-slop-Scores hinzugefügt, sodass Nutzer die Vertrauenswürdigkeit von Inhalten sofort einschätzen können
• Nutzer können in Web-, Bild- und Videoergebnissen über die Funktion „Als KI-generierten Inhalt melden“ minderwertige Inhalte einreichen
  • Kagi prüft dies anhand eigener Signale und stuft Domains mit hohem Anteil an KI-Inhalten automatisch herab
  • Bei gemischten Domains wird nur einzelnen Seiten ein Hinweis auf KI-Erzeugung zugewiesen
• KI-generierte Bilder und Videos werden nach Bestätigung sofort gekennzeichnet und automatisch herabgestuft; Nutzer können zudem einen Filter zur vollständigen Blockierung von KI-Medien wählen
• CEO Vlad sagte, AI slop sei eine „existenzielle Bedrohung“ für ein menschenzentriertes Internet, und SlopStop sei der erste Schritt zu seiner Beseitigung

Zusammenspiel von SlopStop und Small Web

• Auch wenn sich KI schnell weiterentwickelt, verfolgen SlopStop und Small Web gemeinsam das Ziel, ein menschenzentriertes Web-Ökosystem wiederherzustellen
• Small Web baut eine Whitelist verifizierter menschlicher Urheber auf, um authentische Inhalte bevorzugt anzuzeigen
• Je besser SlopStop KI-Inhalte herausfiltert, desto höher wird die Sichtbarkeit kreativer und menschlicher Inhalte
• Beide Systeme fungieren als doppelte Verteidigungslinie zum Schutz des Internets vor Kommerzialisierung und künstlicher Verunreinigung

Aufbau und Nutzung des AI-slop-Datensatzes

• SlopStop ist ein Schritt zur Stärkung der Verlässlichkeit im gesamten Kagi-Ökosystem und soll durch die Kombination aus Community-Meldungen und interner Erkennungstechnologie den weltweit größten Domain-Datensatz zu AI slop aufbauen
• Dieser Datensatz soll für die Entwicklung von Erkennungstechnologien gegen KI-Halluzinationen, falsche Behauptungen und Desinformation genutzt werden
• Unter Verweis auf Untersuchungen von NewsGuard erklärt Kagi, dass 30 bis 41 % der Antworten anderer Chatbots falsch seien
• Die Datenbank soll später veröffentlicht werden; interessierte Nutzer können sich registrieren, um Updates zu erhalten

Nutzerbeteiligung und Qualitätssicherung

• Kagi treibt über den crowdsourcing-basierten Betrieb von SlopStop die Entwicklung einer automatisierten Endlösung voran
• Nutzer können teilnehmen, indem sie auf das Schildsymbol neben dem Suchergebnis klicken und dann „Als KI-generierten Inhalt melden“ auswählen
• Alle Meldungen werden vom Kagi-Prüfteam verifiziert und anschließend berücksichtigt, was zur Verbesserung der Suchqualität beiträgt
• Über die technische Dokumentation und das Forum zu SlopStop stellt Kagi Informationen zur Funktionsweise und Feedback-Kanäle bereit
• Kagi betont: „Die Beteiligung aller Nutzer schafft eine vertrauenswürdigere Sucherfahrung.“

[GN⁺]

Hacker-News-Kommentare

• Das ist wirklich eine interessante Neuigkeit. Es wäre gut, wenn HN sich so etwas abschauen und eine ähnliche Markierung hinzufügen würde
  • Ich habe @freediver um Datenbankzugriff gebeten. Das wird bald in hcker.news integriert.
    Mir gefällt Kagis Community-zentrierter Ansatz. Die veröffentlichte Small-Web-Liste ist wirklich nützlich.
    Wenn man auf HN den Small-Web-Filter anwendet, wirkt die Startseite deutlich frischer
  • Stimme zu
• HN braucht so etwas auch. Es wäre schön, einen sicheren Zufluchtsort vor Inhalten zu haben, die wie fortgeschrittener Spam wirken
  • Die Lösung ist einfach. Man verlangt für jeden Kommentar eine menschliche Verifikation. Zum Beispiel einen Tropfen Blut pro Kommentar
• In der Dokumentation werden Bild-, Video- und „Webseiten“-Slop unterschieden; ich frage mich, ob es eine Möglichkeit gibt, nur Webseiten-Slop separat aggressiv zu filtern.
  Manchmal sind Texte aufschlussreich, haben aber ein von KI erzeugtes Header-Bild. Wenn der eigentliche Inhalt echt ist, würde ich solche Beiträge ungern herausfiltern. Ich frage mich, ob diese Unterscheidung in der Dokumentation so feingranulare Filterung ermöglicht
• Ich wünschte, es gäbe kluge Leute, die meine Theorie untersuchen. Der Kern der Erkennung könnte darin liegen, den Entropieunterschied zwischen von Menschen geschriebenen und von LLMs geschriebenen Inhalten zu lernen.
  Beim „Will-Smith-isst-Spaghetti-Test“ zum Beispiel scheint der Unterschied klar zu sein, wenn man die Entropie echter und generierter Szenen vergleicht. Letztlich bedeutet „es sieht echt aus“, dass es dem Entropieniveau entspricht, das wir erwarten
  • Ich glaube nicht, dass KI-Slop KI-Slop lösen kann. Werbung und Aufmerksamkeitsökonomie waren bereits versloppt, und KI hat das nur sichtbarer gemacht.
    Für KI ist es leicht, Entropie künstlich zu erhöhen. Am Ende wird es ein Informationskrieg, und die Menschen werden die Leidtragenden sein
  • Tatsächlich ist das das Grundprinzip von „KI-Detektoren“. Es sind Modelle, die darauf trainiert werden, menschliche von LLM-generierten Inhalten zu unterscheiden, aber wie jeder weiß, ist ihre Genauigkeit miserabel
  • Solche Versuche gibt es bereits. Bei Bildern funktioniert das dank Artefakten von Diffusionsmodellen, bei Text aber nicht besonders gut.
    Text hat eine viel zu hohe Informationsdichte, und GPT-artige Modelle werden eher darauf trainiert, genau die Entropie zu minimieren, von der du sprichst
  • Für die Unterscheidung zwischen echten Fotos und KI-generierten Bildern könnte das funktionieren, aber bei Text ist Entropie meiner Meinung nach nicht so wichtig.
    Außerdem kann KI jederzeit darauf trainiert werden, diese Erkennung zu täuschen
  • Ich dachte, der „Will-Smith-Spaghetti-Test“ sei ein Witz, aber ich habe danach gesucht und ihn tatsächlich gefunden. Überraschend
• Das Internet ist nicht tot, aber es fängt an, seltsam zu riechen
• Ich bin seit einem Jahr zahlender Kagi-Nutzer. Es war bisher die lohnendste Ausgabe, die ich gemacht habe.
  Kürzlich habe ich wieder Google-Suchen ausprobiert, und es war wirklich furchtbar.
  Ich will ein ruhiges Internet — einen Ort, an dem man fragt und Antworten bekommt, ohne Absicht oder Werbung, nur mit aufrichtigen Antworten
• Ich denke, ein skalierbarer Ansatz läuft letztlich darauf hinaus, KI KI identifizieren zu lassen. Natürlich wäre menschliche Prüfung unverzichtbar.
  Die meisten Menschen könnten wahrscheinlich keinen KI-Text erkennen, der im Prompt über die „Standardstimme“ hinausgeht
  • Die nächste Modellgeneration wird sich weiterentwickeln, indem sie Samples, die als KI klassifiziert wurden, aus den Trainingsdaten ausschließt.
    Dieser Kreislauf wird weitergehen und ähnelt der Struktur von GANs (Generative Adversarial Networks)
  • KI KI jagen zu lassen, ähnelt der Illusion eines Alignment-Problems, nach dem „gute KI böse KI besiegt“. Es ist möglich, beruht aber auf zu vielen Annahmen
  • Wenn KI KI erkennen könnte, wäre das Problem längst gelöst. Der Kern ist die fehlende Zuverlässigkeit
  • Wenn man Prompts sorgfältig formuliert, kann man Texte erzeugen, die schwer zu erkennen sind.
    Trotzdem ist das Web weiterhin voller KI-Slop.
    Ich suche oft nach Informationen, bei denen der Wahrheitsgehalt wichtig ist, deshalb ist mir die Vertrauenswürdigkeit der Quelle wichtiger als die Frage, ob KI erkannt wird.
    Entscheidend ist letztlich, wer etwas unter eigenem Namen oder mit eigener Reputation veröffentlicht hat
• Die Welt scheint jetzt in zwei Universen geteilt zu sein. Eines zwingt generierte Inhalte auf, das andere lehnt sie konsequent ab.
  Ich verstehe nicht, warum manche CEOs so stur darauf beharren. Menschen mögen künstliche Inhalte nicht, und trotzdem klammern sie sich weiter daran fest
  • Auf YouTube gibt es ein riesiges Publikum, das KI-generierte Inhalte genießt.
    Zum Beispiel wurden dieses Video und dieses Video beide mit GPT-geschriebenen Skripten, KI-Illustrationen und KI-Stimmen erstellt.
    Auch auf Reddit landen von GPT geschriebene Beiträge weit oben, und die Leute loben sie als „schöne Metaphern“.
    Letztlich genießen viele Menschen KI-Inhalte bewusst oder unbewusst
  • Die Sturheit der CEOs kommt meist vom Druck der Vorstände und der Wall Street. Es sind einfach Leute, die nie wirklich mit LLMs gearbeitet haben und nur auf Marktsignale reagieren
  • Das ist ein klassischer Fall von Sunk-Cost-Fallacy und Wachstumszwang. Nicht Logik, sondern Trend und die Ungeduld der Investoren bestimmen das Geschehen
  • Auch Kagi schließt LLMs nicht vollständig aus. Für Nachrichtenzusammenfassungen werden tatsächlich LLMs verwendet.
    Wie man auch in diesem Issue sehen kann, ist vollständiger Ausschluss wegen wirtschaftlicher Effizienz schwierig
  • Wenn Creator ihren KI-Einsatz offenlegen müssen, sollte ich das Recht haben, ihn herauszufiltern.
    Heutzutage ist es viel zu schwer, echte Inhalte zu finden.
    Das Problem sind weniger KI-Inhalte an sich als vielmehr ein Umfeld, in dem sorgfältige Creator untergehen
• Die aktuelle Lage wirkt wie ein Spiel, in dem KI gegen sich selbst Schach spielt.
  Die Erkennung wird immer ausgefeilter, und die KI immer raffinierter. Es ist ein endloses Duell aus Erkennung und Umgehung
• „Der Slop-Krieg hat begonnen“
  Ich unterstütze jeden Versuch, die Flut von KI-Slop in den Suchergebnissen einzudämmen.
  Es fühlt sich an, als wäre der alte SEO-Spam zurückgekehrt, nur mit anderer Verpackung
  • Diesmal ist es viel schlimmer. Alten SEO-Spam konnte man als Mensch schnell erkennen, aber heute gibt es perfekt aussehenden Müll im Überfluss.
    Andere Suchmaschinen mögen so etwas vermutlich, weil sie damit ihre Rolle als Eingangstor stärken können, ohne selbst Inhalte zu erstellen
  • Ironischerweise ist die SEO-Branche die Gruppe, die KI-Inhalte am meisten hasst.
    KI-Zusammenfassungen ersetzen ihre klickorientierten Inhalte.
    Vielleicht steckt hinter dieser Filterbewegung am Ende genau diese Gruppe