Google, Bing, Marginalia, Kagi, Mwmbl und ChatGPT im Vergleich der Suchqualität

 (danluu.com)
2 Punkte von GN⁺ 2024-01-01 | 1 Kommentare | Auf WhatsApp teilen
  • Schon mit nur sechs einfachen Suchanfragen zeigt sich, dass sich unter den Top-Ergebnissen großer Suchmaschinen wie Google und Bing häufig SEO-Spam, betrügerische Werbung und ungenaue Antworten mischen
  • Verglichen wurden Google, Bing, Marginalia, Kagi, Mwmbl und ChatGPT 3.5; betrachtet wurden dabei mit deaktiviertem Adblocker auch lokalisierte Ergebnisse für Vancouver, BC
  • Marginalia lieferte oft keine vollständigen Antworten, zeigte aber vergleichsweise weniger betrügerische Resultate; ChatGPT war bei manchen Suchen gut, zeigte jedoch auch Antwortverweigerungen und Halluzinationen
  • Google und Bing platzierten bei häufigen Alltagsanfragen wie YouTube-Downloads, Adblockern oder Winter-Schneeprognosen betrügerische Websites und werbliche Ergebnisse weit oben
  • Um gute Ergebnisse zu bekommen, braucht man inzwischen Expertenkniffe wie Site-Filter, Keyword-Kombinationen und Folgesuchen; das entfernt sich deutlich von der früheren Erfahrung „einfach suchen und fertig“

Vergleichsmethode und Bewertungskriterien

  • Verglichen wurden Google, Bing, Marginalia, Kagi, Mwmbl und ChatGPT 3.5
  • Die Suchanfragen stammten aus drei Kategorien
    • Suchanfragen, die eine nicht fachkundige Person beim Einrichten eines neuen Computers verwenden könnte
    • Technik- und Wissenschaftsfragen, die auch Oberstufenschüler verstehen können, bei denen die Antwort aber schwer zu finden ist
    • Lokale Informationssuchen, die beim Schreiben des Artikels tatsächlich benötigt wurden
  • Verwendet wurden diese sechs Queries
    • download youtube videos
    • ad blocker
    • download firefox
    • Why do wider tires have better grip?
    • Why do they keep making cpu transistors smaller?
    • vancouver snow forecast winter 2023
  • Bewertet wurde in den Stufen Terrible, Very Bad, Bad, Ok, Good, Great; betrügerische Ergebnisse wurden stark abgewertet
  • Die Suchen wurden überwiegend im November 2023, teils Mitte Dezember durchgeführt
  • Die Suchmaschinen-Queries liefen in neuen Inkognito-Fenstern mit gelöschten Cookies; bei Kagi wurde ein neues Konto verwendet, da Suche im ausgeloggten Zustand nicht möglich war
  • Der Standort war Vancouver, BC; bei einigen Suchmaschinen schien lokales Ranking angewendet zu werden

Gesamtergebnis

  • Marginalia lieferte gelegentlich brauchbare, aber nicht perfekte Antworten und tendierte bei unbeantwortbaren Fragen eher zu keinen Ergebnissen oder klar irrelevanten Treffern
    • Der Anteil betrügerischer Ergebnisse war niedriger als bei anderen Suchmaschinen, auch wenn es in diesem Test einige davon gab
  • Mwmbl erlaubt es Nutzern, das Ranking der Suchergebnisse direkt zu bearbeiten
    • Eine Query wurde nach Bearbeitung zu einem Ergebnis, das man als Great einstufen könnte, wurde aber wegen der direkten Optimierung für diesen Benchmark nicht in die Bewertung einbezogen
  • Google zeigte eine starke Tendenz, aktuelle Ergebnisse und neue YouTube-Videos zu bevorzugen
    • Bei der Suche nach ad blocker wurden inhaltlich schwache YouTube-Videos angezeigt; eines davon behauptete fälschlich, das erste Ergebnis sei „offiziell von Google“
  • ChatGPT war in einem Fall deutlich besser als klassische Suchmaschinen, in anderen Fällen brauchbar oder ausweichend und produzierte bei mehreren Queries Halluzinationen
  • Google und Bing wurden bei einigen Queries als schlimmer als ChatGPT bewertet, weil sie mehr halluzinationsartige oder manipulierte Resultate lieferten
    • Bei der Suche nach Schneeprognosen erschienen Fake-Prognoseseiten zur Werbevermarktung und lokale Firmen, die unnötige Schneeräumdienste verkaufen wollten

Ergebnisse pro Query

  • download youtube videos

    • Das ideale Ergebnis wäre yt-dlp oder ein schlanker kostenloser GUI-Wrapper für yt-dlp; auch seltener aktualisierte Projekte wie youtube-dl wurden noch als akzeptabel angesehen
    • Google lieferte keine guten Ergebnisse; die meisten oberen regulären Treffer bestanden aus Installationsfallen für Badware, betrügerischen Anzeigen, kostenpflichtigen Alternativen, werblichen Listenartikeln und blogspamartigen YouTube-Videos
    • Bing lieferte ebenfalls keine guten Ergebnisse und zeigte vielfach Erweiterungen mit möglicher Badware, gefälschte Download-Buttons und Werbung für kostenpflichtige Downloader
    • Marginalia lieferte als ersten Treffer eine alte Antwort zu youtube-dl und enthielt auch Blogposts zur Installation und Nutzung von yt-dlp; das wurde als bestes Ergebnis bewertet
    • Kagi war gefüllt mit Downloadseiten unter Verweis auf Norton SafeWeb, Scam-Pop-ups und veralteten youtube-dl-Links auf archive.org
    • Mwmbl mischte einige kostenpflichtige Programme, Installationsartikel zu youtube-dl, Videos zu GUI-Wrappern sowie betrügerische oder minderwertige Websites
    • ChatGPT antwortete, man solle nicht ohne YouTube Premium herunterladen, und verweigerte konkrete Empfehlungen für Drittanbieter-Apps oder Websites

  • ad blocker

    • Das ideale Ergebnis wäre uBlock Origin gewesen; mindestens erwartet wurde ein nicht betrügerischer Adblocker, der standardmäßig Werbung blockiert
    • Bei Google fehlte ein Link zu uBlock Origin; stattdessen erschienen Adblocker aus dem Acceptable-Ads-Programm, die standardmäßig manche Werbung zulassen, plus mutmaßlich betrügerische Anzeigen
    • Bei Bing führten die Anzeigen oben zu Avast Secure Browser, TOTAL Adblock und gefälschten Review-Seiten; die Werbekennzeichnung war so unauffällig, dass sie leicht mit normalen Suchergebnissen verwechselt werden konnte
    • Marginalia empfahl in den Ergebnissen 3 und 4 uBlock Origin, auf Platz 8 erschien uBlock Origin selbst; wegen der wenigen direkten Scam-Ergebnisse wurde das als gut bewertet
    • Mwmbl mischte Ghostery, kostenpflichtige Adblocker, werbeüberladene Seiten und Empfehlungen für uBlock Origin in Hacker-News-Kommentaren
    • Kagi zeigte oben vor allem Ergebnisse zu Adblock Plus und AdBlock; außerdem war ein Artikel dabei, der per Pop-up zur Installation von TOTAL Adblock drängte
    • ChatGPT schlug auf How do I install the best ad blocker? direkt als erste Empfehlung uBlock Origin vor und wurde für diese Query als bestes Ergebnis bewertet

  • download firefox

    • Das ideale Ergebnis ist ein Download-Link für Firefox ohne gefälschte oder betrügerische Links
    • Bing, Mwmbl und Kagi lieferten Firefox-Downloadlinks und wurden als Great bewertet
    • ChatGPT gab technisch ungenaue Installationshinweise, verwies aber auf die richtige Website, sodass Nutzer wahrscheinlich Firefox herunterladen würden
    • Marginalia enthielt keinen direkten Firefox-Downloadlink, sondern nur indirekte Firefox-bezogene Treffer, und wurde mit Ok bewertet
    • Google zeigte zwar überwiegend legitime Downloadlinks, enthielt aber auf Rang 7 und 10 Scam-Links zu Badware-Installationen oder Seiten, die Kreditkarteninformationen verlangten; daher Bad

  • Why do wider tires have better grip?

    • Eine korrekte Antwort müsste den Einfluss breiterer Reifen auf Bremsen auf trockener Fahrbahn und Rundenzeiten, Bremsen bei Nässe und Aquaplaning, die getrennte Veränderung von Felgenbreite und Reifenbreite sowie Änderungen des Reifendrucks erklären
    • Google, Bing und Kagi lieferten viele unvollständige oder falsche Erklärungen zu Oberfläche, Aufstandsfläche oder dynamischer Last sowie werbliche Seiten
    • ChatGPT lieferte sprachlich saubere, aber wie Internetkommentare klingende halluzinierte Antworten
    • Marginalia hatte für die ursprüngliche Frage keine Ergebnisse; ohne Fragezeichen kam genau ein falscher Treffer
    • Mwmbl lieferte irrelevante Artikel der NYT oder Texte über Fahrradreifen
    • Keine Suchmaschine lieferte eine korrekte Erklärung; Marginalia wurde relativ betrachtet als besser eingestuft, weil es weniger falsche und betrügerische Treffer zeigte

  • Why do they keep making cpu transistors smaller?

    • Erwartet wurde eine intuitive Erklärung dafür, warum kleinere Transistoren schneller werden und wie das mit Leistung und Kapazität zusammenhängt
    • Google zeigte eine Wissenskarte sowie Stack-Exchange- und Quora-Ergebnisse, aber meist nur Teilantworten wie „kleiner ist schneller“ oder Antworten auf andere Fragen
    • Bing erhielt Ok, weil Teile der Wissenskarte oben zumindest Teilantworten boten, die zu sinnvollen Folgesuchen führen konnten
    • Kagi lieferte Reddit-, Stack-Exchange-, Quora- und Metafilter-Treffer; der zehnte Link führte potenziell zu Themen wie Dennard Scaling, beantwortete die Frage aber nicht direkt
    • Marginalia hatte keine Ergebnisse, und Mwmbl lieferte nur einen irrelevanten Vox-Artikel mit dem Titel „Why do artists keep making holiday albums?“
    • ChatGPT gab eine Nicht-Antwort über Leistungssteigerung; bei Nachfragen folgten potenziell irreführende Aussagen über Signalausbreitung und Interconnects

  • vancouver snow forecast winter 2023

    • Ein gutes Ergebnis wäre eine Prognose wie die mehrmonatige Winter-Schneeprognose von Environment Canada gewesen, wonach es in Vancouver deutlich weniger Schnee und höhere Temperaturen als üblich geben sollte
    • Google zeigte in der Wissenskarte eine gefälscht wirkende Prognose einer lokalen Schneeräumfirma; die Seite sagte viel Schnee und Kälte voraus und drängte so zum Kauf von Schneeräumdiensten
    • Eine der oberen relevanten Bing-Seiten wirkte wie eine SEO-Fake-Prognoseseite mit manipulierten täglichen Wahrscheinlichkeiten für „Winterstürme“
    • Kagi zeigte Bings Fake-Prognoseseite in den ersten vier Treffern und ergänzte das mit irrelevanten Nachrichten und SEO-Spam
    • Marginalia hatte keine Ergebnisse; Mwmbl lieferte irrelevante Treffer zu Stromausfällen 2022, Schneeprognosen für Philadelphia, zufrierenden Flüssen in Ohio und Regionalnachrichten aus Oregon
    • ChatGPT antwortete nicht direkt und verwies auf Wetter-Websites oder Apps; einmal schlug es versehentlich aus einem Prompt mit User\n heraus Environment Canada vor

Wie sich Werbung, SEO und Halluzinationen vermischen

  • In Suchergebnissen mischten sich absichtlich manipulierte Resultate mit gewöhnlichen SEO-Werbefarmseiten
  • Bei der Suche nach Schneeprognosen erschienen sowohl Fake-Prognoseseiten zur Werbevermarktung als auch gefälschte Prognosen, die zum Kauf von Schneeräumdiensten drängten
  • Bei der Suche nach Adblockern gab es Fake-Review-Seiten, die wie objektive Tests wirkten, aber auf die Installation bestimmter Adblocker hinausliefen
  • Bei der Suche nach YouTube-Downloads tauchten statt freier Open-Source-Tools immer wieder kostenpflichtige Software, verdächtige Erweiterungen und gefälschte Download-Buttons auf
  • Das klassische Such-Ökosystem scheint stark dazu gedrängt zu sein, nicht die besten Resultate für Nutzer, sondern die für die Software-Lieferkette profitabelsten Resultate nach vorn zu stellen
  • Ranking-Signale wie Klicks und Engagement können gute Ergebnisse nur dann verstärken, wenn Nutzer kompetent genug sind, gute Treffer überhaupt zu erkennen

Das Anreizproblem werbefinanzierter Suche

  • Im ursprünglichen PageRank-Papier von Sergey Brin und Larry Page wurde bereits argumentiert, dass werbefinanzierte Suche bei guten Suchergebnissen ein Anreizproblem hat
  • Das Papier erklärt, dass Werbeeinnahmen Suchmaschinen zugunsten von Werbekunden verzerren und von den Bedürfnissen der Verbraucher wegführen können
  • Google und Bing haben sich inzwischen dahin entwickelt, Werbung wie echte Suchergebnisse aussehen zu lassen; viele Nutzer können Anzeigen und organische Treffer nicht mehr klar unterscheiden
  • Die Rangbewertung orientierte sich an der sichtbaren Reihenfolge auf der Seite
    • Wenn oberhalb der organischen Ergebnisse vier Anzeigen stehen, zählen diese als Platz 1 bis 4 und das erste organische Ergebnis als Platz 5
  • Im Beispiel der Suche nach cellular phone bestanden Googles Top-Ergebnisse aus Google Store Pixel 7, Amazon Android phone, Wikipedia sowie kommerziellen Resultaten und SEO-Spam
  • Das im PageRank-Papier als gutes Spitzenergebnis genannte „The Effect of Cellular Phone Use Upon Driver Attention“ war unter dem Stapel kommerzieller Treffer verborgen und nicht sichtbar

Kleine Suchmaschinen und Metasuche

  • Dass Marginalia als Suchmaschine eines Einzelentwicklers bei einigen Queries relativ gute Ergebnisse lieferte, ist ein interessantes Beispiel
  • Eine Mainstream-Suchmaschine zu bauen, die Google ersetzt, bleibt dennoch schwierig
    • Indizierung von sich in Echtzeit verändernden Quellen wie Twitter und Nachrichten
    • NLP jenseits eines Basisniveaus
    • Wachsende Erwartungen der Nutzer an Suchmaschinenfunktionen
  • Umgekehrt sei es einfacher geworden, nützliche Suchmaschinen für kleinere Nutzergruppen zu bauen
    • Weil Google-Ergebnisse bei vielen Queries schlechter geworden sind als früher
  • Google scheitere inzwischen oft daran, bei weniger populären Seiten oder bei Suchen nach exakt erinnerten Zeichenfolgen die gewünschte Seite zurückzugeben
    • Früher sei das fast nie passiert, 2015 nur selten und heute in einem erheblichen Anteil der Fälle
  • Ob eine Kombination mehrerer kleiner Suchmaschinen für viele Nutzer bessere Ergebnisse als Google liefern kann, wird seit Jahren eher mit Ja beantwortet
  • Der nutzerkurierte Ansatz von Mwmbl wirkt ohne weitere Feinabstimmung schwierig
    • Es gab etwa einen von Nutzern bearbeiteten Fall, in dem bei der Suche nach RSS Blogspam an die Spitze gesetzt wurde, ohne leicht auffindbare Meldefunktion
  • Ein Ansatz wie 1996 bei Metacrawler, also das Aggregieren mehrerer Suchmaschinen, ChatGPT, Bard usw., könnte technisch ziemlich gut funktionieren, sofern man rechtliche und Lizenzkosten außen vor lässt

Anhang: Andere Suchmaschinen

  • DuckDuckGo war historisch Bing sehr ähnlich; auch diesmal war es ohne die Bing-Anzeigen ähnlich genug, wenn auch nicht mehr ganz so stark, dass sich eine eigene Tabelle kaum lohnte
    • Für geübte Nutzer mit guten Queries ähnlich brauchbar wie Google, aber bei den hier getesteten naiven Suchanfragen nicht gut
  • wiby.me ist wie Marginalia eine Suchmaschine, um vergleichsweise obskure Ergebnisse zu finden
    • Bei vier Queries gab es interessante und sehr andere Treffer, aber keine relevanten Ergebnisse
  • searchmysite.net lieferte bei einigen Queries halbwegs relevante Ergebnisse, war aber nicht so relevant wie Marginalia
    • Dafür gab es deutlich weniger Betrug und Werbeseiten als bei Google, Bing und Kagi
  • indieweb-search.jamesg.blog war bei allen Queries wegen Serverfehlern nicht nutzbar
  • Teclis hat zwar noch ein Suchfeld, wurde aber wegen Bot-Missbrauch geschlossen; auf der Startseite steht, dass 99,9 % des Traffics von Bots kamen
    • Es wird darauf hingewiesen, dass Teclis-Ergebnisse über Kagis Non-commercial Web-Lens und API nutzbar sind

Anhang: Umwege auf dem Weg zu guten Antworten

  • Bei der Frage zur Reifenhaftung lieferten allgemeine Suchmaschinen keine guten Antworten; die Suche führte deshalb über YouTube-Suche, Kommentare, Autofachbücher, ähnliche Bücher und die Suche nach bestimmten Modellnamen
  • Carroll Smiths Tune To Win erwähnt, dass eine breitere Aufstandsfläche den Wärmestau verringert und weichere Gummimischungen ermöglicht, die in einem engeren Temperaturbereich arbeiten, erklärt das beobachtete Phänomen aber nicht ausreichend
  • Auch Kummers The Unified Theory of Tire and Rubber Friction, Hays and Brownes The Physics of Tire Traction sowie Milliken and Millikens Race Car Vehicle Dynamics reichen nicht für eine vollständige Erklärung
  • Guiggianis The Science of Vehicle Dynamics kam einer Erklärung näher, wie man die relevanten Faktoren denkt und modelliert
  • Über das Stichwort brush model im letzten Kapitel führte die Suche nach brush model tire width zu Pacejkas Tire and Vehicle Dynamics; dieses Buch beginnt laut Bewertung tatsächlich damit, breitere Reifenhaftung und die nötige Reifen- und Fahrzeugdynamikmodellierung zu erklären
  • Um gute Suchergebnisse zu erhalten, braucht man eine Kombination aus Suchbegriffen, Site-Filterung und Folgesuchen als Expertenkniffe; nicht alle Nutzer verfügen über diese Fähigkeiten

Beispiele für Google-Wissenskarten

  • Die Google-Wissenskarten waren laut Artikel selbst bei leicht auffindbaren Antworten oder scherzhaften Fragen oft ungenau
  • oc2 gemini length lieferte statt der Bootslänge die im Artikel erwähnte Babylänge 20″
  • busy beaver number lieferte die Telefonnummer (604) 375-2754
  • Feedly revenue lieferte $5.2M/yr auf Basis einer Seite, die offenbar Umsatz- und Gewinnschätzungen privater Unternehmen manipuliert
  • boston up118s dimensions lieferte die Pianomaße 5826298 x 5826899 x 582697 in
  • Intel number of engineers lieferte statt der Zahl der Ingenieure eine Telefonnummer
  • fraser river current speed lieferte die ungenaue Angabe 97 to 129 kilometers per hour
  • futura c-4 surfski weight lieferte 39 pounds, das Gewicht eines anderen Surfskis

Antwort auf Kritik

  • Dieser Vergleich ist keine peer-reviewed study und enthält subjektive Bewertungen zu einigen wenigen Queries
  • Mit Verweis auf Erfahrung mit Arbeiten im Information-Retrieval-Bereich und einen Best Paper Award wird argumentiert, dass akademische Veröffentlichungen nicht automatisch rigoroser sind
  • Einige Gegenargumente von Kagi-Nutzern beruhten laut Text darauf, GitHub-Ergebnisse festzupinnen oder nur Queries auszuführen, bei denen GitHub gute Treffer liefert
  • Gegenbeispiele mit tatsächlich guten Resultaten für die Queries zu Reifen, Transistoren und Schneeprognosen gebe es bislang nicht
  • Im Kern der Debatte über Suchqualität geht es nicht um Suchtricks erfahrener Nutzer, sondern darum, wie leicht normale Nutzer bei einfachen Suchanfragen auf betrügerische Werbung und SEO-Spam stoßen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-01-01
Meinungen auf Hacker News

  • Der Suchalgorithmus wurde zuletzt stark verbessert, aber ich denke, Marginalia Search hatte bei den Beispielabfragen auch etwas Glück.
    Die Ergebnisse sind immer noch ungleichmäßiger als bei anderen Alternativen, was auch zeigt, wie schwierig die Bewertung der Suchqualität ist.
    Die Wirkung hängt außerdem stark davon ab, ob Nutzer verstehen, dass es sich um eine Keyword-Suchmaschine ohne semantisches Verständnis handelt.

    • Gerade weil es Keyword-Suche ohne semantisches Verständnis ist, finde ich es gut.
      „Semantisches Verständnis“ kann manchmal voreingenommen und verdächtig funktionieren.
    • Zu dem Punkt, dass die Bewertung der Suchqualität schwierig ist, würde ich gern mehr darüber hören, was dich persönlich besonders beeindruckt hat.
      Ich verfolge DIY- und nicht-kommerzielle Suchprojekte wie YaCY in gewissem Maß und würde gern mehr über die Hintergründe der technischen Entscheidungen beim Bau einer Suchmaschine erfahren.
      Marginalia ist insgesamt eine sehr beeindruckende Arbeit, und von den Nutzern hier habe ich nur positive Bewertungen gehört.
    • Feedback, nachdem ich es ausprobiert habe, um zu sehen, was es tatsächlich ist.
      Ich habe in DDG nach marginalia gesucht, aber es war nicht auf der ersten Seite; bei Google erscheint es nach allerlei gemischten Ergebnissen.
      marginalia.nu liefert einen SSL-Fehler, search.marginalia.nu funktioniert.
      Wenn man in Marginalia nach duckduckgo sucht, ist der erste Link App-bezogen und damit einigermaßen relevant, die übrigen Ergebnisse haben zwar mit DDG zu tun, sind aber nur unklar relevant.
      Auch bei der Suche nach dem oben erwähnten uBlacklist sehe ich keine direkt relevanten Ergebnisse.
    • Die Frage „Wie kann ein einzelner Entwickler so gut sein?“ wurde offenbar komplett umgangen ;)
      Zwar ist die Suche deutlich schlechter geworden, aber auch die Fähigkeit, Suchanfragen zu formulieren und magische Wörter zu kennen, ist besser geworden, etwa „ublock origin“ statt „Adblock“ oder „yt-dlp“ statt „download YouTube“.
      Im Grunde betreiben wir alle Prompt Engineering gegen ein riesiges Sprachmodell im Maßstab des gesamten Internets, bei dem jeder ein Spammer ist.

  • Suche ist heutzutage ziemlich schwierig, und alle wissen, wie man Ergebnisse manipuliert.
    Ich empfehle Suchmaschinen, bei denen man effektiv beeinflussen kann, welche Websites angezeigt werden, wie Kagi oder Googles Programmable Search Engines.
    Besonders YouTube blockiere ich, weil ich es nicht mag, wie es normale Ergebnisse mit Videos verunreinigt, auch wenn manchmal passende Treffer dabei sind. Es dauert viel zu lange, Informationen aus Videos zu bekommen.
    Eine Funktion, mit der man Ergebnisse für bestimmte Abfragen empfehlen kann, ist reizvoll, aber auch sie dürfte stark manipulierbar sein; am Ende scheint nur ein DIY-Ansatz handhabbar.
    In meinem Fall lasse ich nur Ergebnisse von Domains zu, die ich für richtig halte. Ein Whitelist-Ansatz hat Nachteile, und neue Domains verifiziere ich normalerweise nicht über Suchergebnisse, sondern über soziale Wege wie Reddit oder hier.
    Meiner Ansicht nach gibt es einen grundlegenden Trade-off zwischen Auffindbarkeit und der Möglichkeit, Ergebnisse zu manipulieren.
    Ich verstehe die Sehnsucht nach den Google-Suchergebnissen von 2008, aber damals gab es um Größenordnungen weniger Inhalte als heute, und Unternehmen wussten noch nicht, wie wertvoll Suchrankings sind, sodass es wohl kaum SEO gab.
    Außerdem stimme ich nicht zu, dass yt-dlp die „richtige Antwort“ ist, wenn der Durchschnittsnutzer nach „Youtube Download“ sucht. Der Durchschnittsnutzer kennt die Kommandozeile wahrscheinlich nicht und will sie auch nicht benutzen.

    • Heutzutage priorisiere ich bei der Suche eher YouTube-Videos.
      Viele Websites sind nur wiederaufbereitete Versionen desselben Inhalts im Stil minderwertiger SEO-Farmen, weil sie leicht zu erstellen und billig zu hosten sind.
      Videos zu produzieren kostet dagegen Zeit und Mühe, wodurch die Hürde für den Einsatz als Klickfarm höher ist.
      Mehrfach habe ich erlebt, dass ein etwa 2009 hochgeladenes YouTube-Video genau das, wonach ich gesucht hatte, klar, ruhig und ausführlich erklärte, wenn die klassische Suche versagt hatte.
      Auch bei Informationen für Kaufentscheidungen sind sie oft die bessere Quelle. Wenn man zum Beispiel herausfinden will, welchen Ventilator man kaufen soll, gibt es spezielle Kanäle, die den Nutzen verschiedener Ventilatoren testen und Vorgehen sowie Ergebnisse im Video zeigen.
      Mainstream-Kanäle sind nicht besonders hilfreich, aber leidenschaftliche Videos im Stil des „alten Webs“ gibt es zu fast jedem Thema, und sie sind wie eine Schatzkammer.
    • 2008 war Google bereits zehn Jahre alt, die Leute verstanden SEO schon, und Google veröffentlichte laufend Updates, um Manipulationen des Algorithmus zu bestrafen.
      Der Wikipedia-Artikel zu „link farming“ erklärt zum Beispiel, dass es so etwas seit 1999 gab und dass es auf SEO für Inktomi abzielte.
      https://en.wikipedia.org/wiki/Link_farm
      Ich erinnere mich auch an eine interne Amazon-Präsentation um 2004, in der es darum ging, dass besseres Google-SEO für Amazons Webseiten Traffic und Umsatz steigern würde. Amazon war aus Gründen, die ein wenig an das NIH-Syndrom erinnerten, eher etwas im Rückstand.
    • Ich finde es schwer zu glauben, dass es für Suchmaschinen so schwierig ist, alte, vertrauenswürdige Websites von generativem Müll zu unterscheiden, der nur geschaffen wurde, um in Suchergebnissen aufzutauchen.
      Wenn Menschen den Unterschied erkennen können, dann können Computer es im Prinzip auch.
    • Googles PSE ist okay, aber es gibt keine gute Möglichkeit, mehrere davon umzuschalten und zu verwalten.
      Schon ein kleines Dropdown in der öffentlichen Link-UI jeder PSE würde reichen, um auswählen zu können, welche man verwenden möchte; schade, dass es das nicht gibt.
      Giggle[1] bietet diese Funktion, und ich betreibe es zusammen mit Kagi lokal, um gezielter in einer über Jahre gesammelten Domainliste zu suchen.
      1. https://github.com/dan-lovelace/giggle
    • Wegen der Ergebnismanipulation mag ich Suchmaschinen für nicht-kommerzielle Websites.
      Wenn mit Klicks kein Umsatz entsteht, verschwindet das Spiel weitgehend.
      Das heißt nicht, dass niemand Geld verdienen darf, aber dieses Modell fördert eindeutig nutzerfeindliches Verhalten.
      Auch legitime Websites wie Journalismus nutzen dieses Modell, daher kann es sinnvoll sein, es als Option zu behalten.

  • Auf Kagi bin ich über HN gestoßen, und nach 100 Suchanfragen habe ich ein Abo abgeschlossen.
    Wenn man nach beliebigen Themen zu JS oder CSS sucht, erscheint MDN als erstes Ergebnis; andernfalls kann man die Spam-Websites oben herabstufen.
    Es wäre gut, wenn lokale große Sprachmodelle darauf trainiert wären, Clickbait oder Low-Effort-Content zu erkennen.
    Ich stelle mir vor, dass bei der YouTube-Suche sämtlicher Clickbait eingeklappt wird, so wie Kagi Listicles bündelt, und nur der Rest als potenziell hochwertiger Content übrig bleibt. Ob das derzeit möglich ist, weiß ich nicht.

    • Für YouTube-Videos kann man den Kagi Summarizer verwenden, damit man keine Zeit damit verschwendet, sich Müllvideos anzusehen.
      Ein hervorragender Lifehack.
    • Ich habe Kagi auf HN gesehen und bin ein großer Fan geworden.
      Es ist erstaunlich, wie viel besser eine Suchmaschine werden kann, wenn sie nicht voller Werbung ist.
    • Ich bezahle seit über sechs Monaten für Kagi und bin sehr zufrieden.
      Ich mag Abos eigentlich ziemlich wenig; in einem Bereich von Diensten, die sonst kostenlos sind, ist das also eine recht aussagekräftige Bewertung.
      Gelegentlich muss ich für lokale Suchen noch zu Google wechseln, aber ansonsten bin ich zufrieden.

  • Ich teile die aktuellen Kagi-Ergebnisse, damit Leute ohne Account sie vergleichen können.
    youtube downloader
    https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
    ad blocker
    https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
    download Firefox
    https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
    why do wider tires have better grip?
    https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
    why do they keep making cpu transistors smaller?
    https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
    vancouver snow forecast winter 2023
    https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
    Ich stimme dem Autor zu, dass es im Web zu viel Spam gibt. Meiner Ansicht nach stuft Kagi Spam normalerweise ziemlich gut herab; die Anzahl von Anzeigen und Trackern ist bei Kagi ein negatives Ranking-Signal.
    Trotzdem können wir noch besser werden, und spezielle Suchmodi wie „Small Web“ entfernen Spam praktisch vollständig.
    Solche Überprüfungen durch die Community sind willkommen; ich hoffe, sie halten uns weiterhin ehrlich.

    • Kagi liefert Websites, bei denen man mehr klicken muss, während Google direkt eine vernünftige Antwort gibt.
      In den Beispielen sehe ich auch keinen Spam.
      Auf „why do wider tires have better grip?“ antwortet es, dass breitere Reifen das Gewicht über eine größere Kontaktfläche gleichmäßiger verteilen und in Kurven den Grip erhöhen, was Handling und Stabilität verbessert.
      Auf „why do they keep making cpu transistors smaller?“ antwortet es, dass kleinere Transistoren mehr Berechnungen ohne Überhitzung ermöglichen, energieeffizienter sind, durch kleinere Die-Größen die Kosten senken und durch höhere Dichte mehr Kerne pro Chip erlauben.
      Auf „vancouver snow forecast winter 2023“ antwortet es, dass für die Saison 2023/2024 ausreichend Schneefall und Temperaturen um den Gefrierpunkt erwartet werden und man sich vorbereiten solle.

  • Bei Artikeln über ChatGPT fällt es mir wirklich schwer zu verstehen, warum 3.5 verwendet wird.
    Das führt ziemlich in die Irre, was die Ergebnisse angeht, die man mit der besten verfügbaren Version von ChatGPT bekommen kann.
    Zum Vergleich: Hier sind die Ergebnisse, wenn man alle Fragen des Autors an GPT-4 stellt.
    https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...

    • Weil ChatGPT 3.5 das ist, worauf die meisten Menschen Zugriff haben.
      Für die große Mehrheit der Leser ist es fast nutzlos, über etwas zu sprechen, wofür sie nicht bezahlen werden; außerdem ist kein beliebiger Dritter verpflichtet, andere dazu zu bewegen, Geld an OpenAI zu schicken.
      Wenn es dich stört, dass Leute 3.5 verwenden, solltest du dich bei OpenAI beschweren, nicht bei den Leuten, die einen kostenlos angebotenen Dienst nutzen.
      Persönlich finde ich nicht, dass die übermäßige Lobpreisung des Unterschieds zwischen 4 und 3.5 gerechtfertigt ist.
      https://news.ycombinator.com/item?id=38304184
    • Wenn es so schlecht ist, warum bietet OpenAI ChatGPT 3.5 dann weiterhin an?
    • Für die meisten ist es etwas schwer zu nutzen.
      Entweder muss man ein fixes Abo für 20 Dollar im Monat mit Begrenzung der Nachrichtenanzahl abschließen, verstehen, wie man einen API-Key bekommt, oder einen Drittanbieterdienst mit ähnlichen Kosten und Einschränkungen nutzen.

  • uBlacklist ist einen Versuch wert. Es ist eine Art uBlock für Suchergebnisse.
    https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
    https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
    Einstellungen und persönliche Blocklisten lassen sich über Dropbox oder Google Drive synchronisieren, außerdem kann man Blocklisten abonnieren.
    Allerdings muss man die Suchmaschine selbst aktivieren und die Listen abonnieren. In den Abo-Einstellungen von uBlacklist gibt es noch keine eingebauten Feeds.
    Auf der uBlacklist-Website gibt es einige Feeds.
    https://iorate.github.io/ublacklist/subscriptions
    Ich habe auch eine bessere Feed-Liste gefunden.
    https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...

    • Diese Funktion gibt es bei Kagi bereits.
      In den Suchergebnissen kann man Domains höher gewichten oder auf die Blacklist setzen.
    • uBlacklist ist wirklich großartig.
      Ich nutze es seit Jahren und hatte nie Probleme damit.
      Kurzer Tipp: Wenn man „Skip the "Block this site" dialog“ aktiviert und „Hide the "Block this site" links“ deaktiviert, kann man Spam-Websites deutlich schneller blockieren.
    • Mit uBlacklist und einer eigenen Blacklist wird auch Google ziemlich brauchbar.

  • Ich gehöre zu denen, die Googles Ergebnisse immer noch für sehr gut halten.
    Allerdings nutze ich uBlock Origin, und ich würde nicht einmal versuchen, es auszuschalten.
    Ich verstehe, dass der Autor den Adblocker ausgeschaltet hat, um eine „Browsing-Erfahrung für Nicht-Experten“ zu bekommen, aber er hätte für alle Suchanfragen auch einen separaten Test mit aktiviertem uBlock machen können.
    Außerdem ist es etwas inkonsequent, eine Nicht-Experten-Erfahrung nachzuahmen und gleichzeitig zu erwarten, dass bei Ergebnissen zum Herunterladen von Videos yt-dlp auftaucht.
    yt-dlp ist ein Python-Utility für die Kommandozeile. Das ist weit von Nicht-Experten entfernt.
    Die meisten Menschen wissen nicht einmal, dass Videos als herunterladbare Dateien existieren, und selbst unter denen, die es wissen, kennen die meisten weder die Kommandozeile noch Python.
    Wenn man bei Google nach „how to download youtube videos“ sucht, ist das erste Ergebnis der Dienst savefrom.net; er funktioniert gut und wirkt nicht wie Betrug. Nach meinem Maßstab ist das „sehr gut“.
    Wenn man nach „how to download youtube videos from the command line“ sucht, beziehen sich die ersten Ergebnisse auf youtube-dl und enthalten auch Links zu GitHub und Super User. yt-dlp wird zwar nicht erwähnt, aber youtube-dl ist ein guter Ausgangspunkt.

    • Wenn ich in einem Inkognito-Tab bei Google nach „how to download youtube videos“ suche, sind die ersten beiden Ergebnisse diese:
      https://msunduziassociation.online/perfect-online-videos/
      https://gssaction.org/program-all-in-one-media-solutions/
      Wie der Autor würde ich sie eindeutig in die Kategorie „schrecklich“ einordnen.
    • Ich frage mich, ob du savefrom.net tatsächlich ausprobiert hast.
      Wenn man „https://www.youtube.com/watch?v=IkYVmtgxebU“ eingibt und auf „Download“ klickt, öffnet sich ein neuer Tab, der versucht, Malware zu installieren.
      Lehnt man die Installation ab, wechselt dieser neue Tab auf die Homepage der Malware.
      Schließt man den Tab und kehrt zum ursprünglichen Tab zurück, zeigt savefrom.net den Fehler „The download link not found.“ an und hilft nicht beim Herunterladen des Videos.
    • Adblocker sind nötig, und persönlich halte ich auch Script-Blocker für nötig.
      Ich habe zwar ein vages Gefühl, dass die Suche mit der Zeit schlechter geworden ist, aber das ist kein großes Problem. Meist findet sich eine gute Website auf den ersten ein, zwei Seiten, sodass man sie anklicken und prüfen kann.
      Wenn aber schon der Klick auf eine Website bedeutet, angegriffen zu werden, steigt die Schwere der Lage erheblich. Dann zählt nicht nur, ob es gute Websites gibt, sondern auch, ob es keine schlechten gibt.
      Abgesehen davon sollte man Menschen generell darauf trainieren, Programme nicht von Websites herunterzuladen. Das scheint mit der Zeit etwas besser geworden zu sein.
      Google könnte Websites mit Links zu ausführbaren Dateien niedriger einstufen; vermutlich tun sie das sogar.
    • Ich bin der Meinung, dass Google und die übrigen Suchmaschinen schrecklich sind, sofern es nicht um einen sehr spezifischen und einzigartigen Fachbegriff wie „weak neutral currents“ geht.
      Bei alltäglicheren Suchen wühlt man in einem Müllhaufen, in dem nicht einmal die gesuchten Begriffe vorkommen.
      Auch bei der „verbatim“-Suche muss man Glück haben. Sie wird entweder ignoriert oder liefert 0 Ergebnisse.
    • Die zentrale Erkenntnis aus dem Artikel ist für mich: „Verlass dich nicht auf die Gefühle anderer oder auf Memes wie X ist schlecht und Y ist gut; jeder kann eigene Tests bauen.“
      Eine Nicht-Experten-Erfahrung ohne Workarounds nachzuahmen, ist kein normales Nutzungsmuster. Denn jeder hat seine eigenen Methoden, um aus dem bevorzugten Tool mehr Nutzen zu ziehen.
      Aber der Artikel zeigt, wie man ein Experiment aufbaut, etwa „warum diese Suchanfragen gewählt wurden“ und „wie Betrug bewertet wurde“.
      Ich fände es gut, wenn Menschen im selben Geist bewerten würden, ob ihre aktuelle Tool-Wahl nicht in einem lokalen Optimum feststeckt.

  • Ich verstehe, warum Leute Suchergebnisse als schlecht empfinden
    Dass ein hervorragendes Ergebnis für „Download youtube videos“ „idealerweise ganz oben yt-dlp oder ein dünner grafischer Wrapper sein sollte“
    Ich brauche nur eine Website, auf der ich einen Download-Link einfügen und die Datei auf meine Festplatte laden kann. Welches Paket sie verwendet, ist mir egal
    Ich mache mir auch keine Sorgen über Malware wie in den 90ern, und 99,999 % der Menschen haben nichts mit Programmierung zu tun
    Mir wird klar, wie subjektiv Suchergebnisse sind. Deren „hervorragende“ Ergebnisse sind für mich allesamt „schreckliche“ Ergebnisse

    • Malware in den 90ern, genauer gesagt echte Viren, war lächerlich harmlos
      Vor allem, weil Computer isolierte Dinge waren. Vernetzte Computer waren die Ausnahme
    • Ich habe es gerade ausprobiert, und das erste Ergebnis von Kagi war genau so eine Seite
      Sie hat das Video sehr schnell verarbeitet und zum Download bereitgestellt
      Warum sollte ein vernünftiger Mensch youtube-dl bevorzugen

  • Was mich an der Haltung „Suche ist so schlecht geworden“ immer verwirrt: Sie beruht oft bestenfalls auf anekdotischer Evidenz, schlimmstenfalls auf anekdotischer Erinnerung
    Ich habe zwar auch den Eindruck, dass Suche in den letzten Jahren schlechter geworden ist, aber woher kann man wissen, ob das wirklich stimmt
    Es müsste eine überprüfbare Behauptung sein. Man könnte die Top-N-Suchbegriffe von Diensten wie Google Trends ausprobieren und die Leistung betrachten
    Es wirkt, als ließe sich leicht ein Benchmark erstellen, aber niemand von denen, die sich über dieses Problem beschweren, scheint das tun zu wollen
    Dan hat angefangen, echte Evidenz und Kriterien zur Bewertung der Ergebnisse vorzulegen, aber selbst er hat nur fünf Beispiele betrachtet. Das ist eine wirklich kleine Stichprobe, um allgemeine Aussagen zu treffen
    Daher bleibt die Frage, warum es so viele Texte über das Gefühl gibt, Suche sei schlechter geworden, aber niemand diese Behauptung überprüft

    • Der Kern scheint zu sein, dass die Ergebnisseiten der Mainstream-Suchmaschinen ein Betrugs-Minenfeld sind, durch das normale Menschen nur schwer sicher hindurchkommen
      Wenn es nur um Relevanz geht, ist die Kritik an der kleinen Stichprobe berechtigt; wenn der Schwerpunkt aber auf Schaden liegt, ist auch eine kleine Stichprobe aussagekräftig
      Wenn jemand sagt: „Auf 3 von 5 Spielplätzen habe ich gebrauchte Spritzen gefunden“, verlangt man normalerweise keine p-Werte und Fehlerbalken
    • Ich halte das nicht für eine faire Kritik
      1. Die Bewertung, „wie gut etwas funktioniert“, ist zwangsläufig subjektiv
      2. Man kann eine Studie entwerfen und Teilnehmer rekrutieren, aber das ist nicht die Aufgabe eines Bloggers
      3. Der Artikel verlinkt auch eine Umfrage, in der Leute zustimmen, dass die Ergebnisse schlechter geworden sind. Es gibt ein Stichprobenproblem, aber es ist besser als nichts
        Insbesondere beantwortet der Autor in diesem Fall die Frage: „Welche Ergebnisse sind nach meinem Geschmack die besten?“
    • Ich kann nicht für andere sprechen; ich versuche einfach nur, online etwas zu finden
      Ich will keine Suchmaschine bauen, die mit Google konkurriert, und auch kein Paper schreiben
      Dieses Problem wurde hier über Jahre hinweg mehrfach angesprochen, aber die Antwort war immer eine Erklärung, keine Lösung
      Qualitätsverlust passiert nicht über Nacht, sondern über viele Jahre hinweg
      Google begann, bei manchen Suchbegriffen mit „did you mean...?“ zu kommen, weil sie weniger häufig seien, und zwang einen damit zu einem zweiten Klick, um nach dem zu suchen, was man ursprünglich suchen wollte; es wurde noch schlimmer, als sogar Modifikatoren ignoriert wurden, mit denen man das verhindern wollte
      Als ich merkte, dass eine sorgfältig gewählte einfache Drei-Wort-Anfrage Tausende Ergebnisse liefert, von denen keines relevant ist, war für mich der Punkt erreicht. Das kann von Person zu Person unterschiedlich sein
    • Dan ist das Problem aus einer qualitativen Perspektive angegangen
      Wenn mehr Menschen diesen Ansatz statt quantitativen Maximalismus gewählt hätten, gäbe es vielleicht weniger Produkte, die uns in den Wahnsinn treiben
      Entscheidend ist das überwältigende Gefühl, dass Suche schlechter geworden ist, nicht noch eine weitere Tabelle, die uns erst hierher gebracht hat
    • Um das so zu machen, braucht man eine umfassende Definition von „Qualität“, und das ist überhaupt nicht einfach; zumindest ein Teil davon muss subjektiv sein
      Auslassungen in eine Qualitätsdefinition aufzunehmen ist ebenfalls schwierig, und was ausgelassen werden sollte, ist auch subjektiv
      Wenn man zum Beispiel nach „Gaza“ sucht, kann eine Engine sich nur auf aktuelle Ereignisse konzentrieren, während eine andere aktuelle Ereignisse ignoriert und nur allgemeine Informationen einbezieht
      Welche davon hat die höhere Qualität? In der Praxis hängt es davon ab, wonach man sucht
      Am Ende bleibt nur, eine subjektive Liste der Dinge zu erstellen, die man für wichtig hält, und danach zu bewerten; das ist fast dasselbe wie eine anekdotische Bewertung mit einem zusätzlichen Schritt

  • Wenn man wissen will, warum Google oder irgendeine Suchmaschine nicht besonders gut ist, sollte man sich ansehen, wie sie ihre eigenen Suchergebnisse messen
    Die meisten Suchunternehmen tun in großem Maßstab und nach sehr konkreten Richtlinien etwas Ähnliches wie der Autor
    Zum Beispiel gibt es Googles 168-seitige Richtlinien für Search-Quality-Rater
    https://static.googleusercontent.com/media/guidelines.raterh...
    Darin geht es unter anderem darum, die Bedeutung einer Anfrage zu erfassen, die Absicht des Nutzers zu beurteilen, die „Qualität“ einer Website zu bewerten und zu bewerten, wie nützlich die Site im Verhältnis zur Bedeutung und Absicht der Anfrage ist
    Mit anderen Worten: Es ist nicht so, dass Suchunternehmen nicht tun, was der Autor getan hat; sie haben nur andere Kriterien als der Autor
    Diese Kriterien passen vielleicht besser zu den Nutzern als die des Autors, vielleicht aber auch nicht, und das muss auch nicht für immer so bleiben

    • Ich finde nicht, dass das zutrifft
      Seite 29 des verlinkten Dokuments beschreibt „Lowest Quality Content“
      Die meisten Suchergebnisse, die der Autor als spammy oder betrügerisch bewertet hat, passen eindeutig in diese Richtlinien
      Dann wissen die Rater entweder nicht genug über das jeweilige Thema, um schädliche oder irreführende Websites zu erkennen, oder die Rater bewerten korrekt, aber es hat nicht den gewünschten Effekt
    • Es könnte damit zusammenhängen, wie Google die Suche „normaler Menschen“ versteht
      Google ist zu einer Produktsuchmaschine und Preisvergleichsseite geworden, und in diesem Bereich ist es hervorragend
      Für jedes Produkt, dessen Kauf man in Betracht ziehen könnte, findet es relevante Produkte; möglicherweise hat Google darauf optimiert
      Die meisten meiner Suchen haben mit IT, Programmierung, Software und Computern allgemein zu tun, aber normale Menschen suchen nach Produkten, Nachrichten und Öffnungszeiten von Geschäften
      Dafür ist Google ziemlich gut, und das Geld liegt darin, „etwas kaufen zu gehen“
      Googles Produktsuchanzeigen sind immer deutlich genauer als die eigentlichen Suchergebnisse
      Ich denke, Google hat auf Produktverkauf optimiert
    • Warum sollte der durchschnittliche Nutzer Blog-Spam in den Suchergebnissen wollen
      Ich hoffe, dass große Sprachmodelle mit weiteren Verbesserungen die zurückgegebenen Ergebnisse besser aussortieren können