SearXNG, kostenlose Internet-Metasuchmaschine

 (github.com/searxng)
1 Punkte von GN⁺ 2024-04-07 | 2 Kommentare | Auf WhatsApp teilen
  • SearXNG ist eine Metasuchmaschine, die mehrere Suchquellen nutzt und Benutzer weder verfolgt noch profiliert
  • Die Installation erfolgt über den offiziellen Installation guide; für Feinanpassungen wird auf den Configuration guide verwiesen
  • Weitere Hinweise zu Betrieb und Verwaltung finden sich im Admin-Bereich der SearXNG-Dokumentation
  • Als Community-Kanal wird der Matrix-Raum #searxng:matrix.org bereitgestellt
  • Das Projekt steht unter der GNU Affero General Public License, AGPL-3.0

Die Rolle von SearXNG

  • SearXNG ist eine metasearch engine
  • Benutzer werden in SearXNG weder verfolgt noch profiliert

Installation und Konfiguration

Community und Mitwirkung

Lizenz

  • Dieses Projekt wird unter der GNU Affero General Public License veröffentlicht
  • Details zur Lizenz sind in LICENSE zu finden

Verwandte Beiträge

2 Kommentare

 
GN⁺ 2024-04-07
Hacker-News-Kommentare

  • Wenn man alle Seiteninhalte aus dem Browser-Verlauf oder nur bestimmte als Lesezeichen gespeicherte Seiten durchsuchen möchte, sollte man sich DownloadNet ansehen. Der frühere Name — und vielleicht wieder künftige Name — ist „DiskerNet“.
    Es klinkt sich in den Browser ein und bietet eine erweiterte Browsing-Erfahrung; die UI ist schlicht, im Stil von Google 1997 ohne CSS. Auch die Suche macht noch nichts Komplexes, aber das wird künftig möglich sein, und schon jetzt ist sie ziemlich brauchbar.
    https://github.com/dosyago/DownloadNet
    Außerdem macht es alle besuchten oder mit Lesezeichen versehenen Inhalte auch offline verfügbar. In Umgebungen, in denen man Satellitenbandbreite sparen muss — etwa auf Ölbohrinseln, Schiffen oder im Fernlastverkehr — kann man damit wie gewohnt browsen und Inhalte nebenbei speichern.

    • Ich sehe keinerlei Dokumentation dazu, welche Browser unterstützt werden.
    • Ich verstehe nicht wirklich, warum jemand, der sich auch nur ein wenig für das Thema dieses Beitrags interessiert, zum „Meister-Archivar seines eigenen Internet-Browsings“ werden wollen sollte.
      Was mein Internet-Browsing betrifft, möchte ich nicht, dass irgendetwas außer meinem menschlichen Gehirn es speichert. Das ist natürlich nur meine Sicht.
      Aber ich verstehe nicht, warum so offensichtliche Werbung hierherpassen soll — und zwar nicht nur als Off-Topic, sondern für ein Tool, das das genaue Gegenteil von vollständiger persönlicher Privatsphäre ist.
    • Was macht das besser als YaCy?

  • Erinnert mich an früher. Vor Google nutzte man Metasuch-Tools, um zwischen den spamartigen Suchergebnissen von AltaVista, HotBot, Lycos und anderen die Chance auf eine brauchbare Antwort zu erhöhen.

    • Es ging nicht nur darum, Spam zu vermeiden: Einige Metasuchmaschinen — ich erinnere mich an Dogpile — konnten auch spezialisierte Suchmaschinen wie White Pages oder Yellow Pages durchsuchen. Das war lange vor Diensten wie Yelp, und man konnte damit Geschäftseinträge und Kontaktdaten finden, die in allgemeinen Websuchmaschinen kaum auftauchten.
      Außerdem konnten auch FTP-Suchergebnisse einbezogen werden, was nützlich war, als öffentliches anonymes FTP noch verbreitet war.
    • Weckt Erinnerungen. Ein paar Jahrzehnte später ist es nun unter dem Namen digitale Privatsphäre gewissermaßen zurück.
    • Ich mochte Copernic. Das war ein natives Metasuch-Tool für Windows 9x.
    • Northern Light war auch gut.
    • Dogpile gab es auch.

  • Das hier ist ebenfalls einen Versuch wert. Es ist nicht Kagi, aber die Suchergebnisse sind ziemlich gut, und man kann es mit Docker selbst hosten.
    https://felladrin-minisearch.hf.space/

  • Gut. Es wäre schön, wenn es eine Möglichkeit gäbe, bestimmte Domains so zu blockieren, dass sie nie in den Suchergebnissen auftauchen.
    Bearbeitung: Offenbar gibt es dazu bereits ein offenes Issue.
    https://github.com/searxng/searxng/issues/2351

    • Zur Einordnung: Ich bin einer der Maintainer.
      Die Absicht von SearXNG ist, zustandslos und ohne Server-Sessions zu funktionieren sowie auch ohne JavaScript nutzbar zu sein.
      Dieser Ansatz schränkt allerdings wegen Cookie-Größenlimits manche Funktionen ein. Andere Formen von Browser-Speicher benötigen JavaScript.
    • Google hatte diese Funktion früher, hat sie aber eingestellt.
      Man kann es immer noch erreichen, indem man bei jeder Suche die Ausschlussbedingungen manuell eingibt, aber die Liste kann lang werden, und eine gute User Experience ist das kaum.
      Kagi hat diese Funktion eingebaut und sie ist bequem zu nutzen.
      Man kann auch die Browser-Erweiterung uBlacklist verwenden. In meinem Fall war allerdings das Problem, dass dadurch alles langsamer wurde.
      Ich bin nicht sicher, aber es wirkt so, als würden die tatsächlichen Ergebnisse erst nach Abschluss der Suche gefiltert. Die beiden oben genannten Ansätze beschränken die Ergebnisse so, dass sie gar nicht erst enthalten sind.
    • uBlacklist erledigt genau das bei Google und einigen anderen Suchmaschinen.
      Ich nutze es in Firefox, um Pinterest-Müll aus den Suchergebnissen herauszufiltern; es gibt auch Versionen für Chrome und Safari.
      https://github.com/iorate/ublacklist
    • Kagi hat diese Funktion.

  • Wenn man das über einen privaten Internetanschluss betreibt, läuft man Gefahr, Suchmaschinen nicht mehr nutzen zu können.

    • Nur wenn man es ohne Authentifizierung öffentlich erreichbar macht und Anfragen über einen privaten Anschluss routet; das ist keine empfohlene Konfiguration.
      Für die persönliche Nutzung kann man es direkt auf dem eigenen Rechner ausführen oder per VPN darauf zugreifen. Anfragen an die Upstream-Suchmaschinen kann man bei Bedarf über einen Proxy oder ein VPN schicken.
      Einige funktionieren auch gut über Tor, andere kann man über kommerzielle oder selbst betriebene Tunnel leiten.
    • Dieser Punkt scheint deutlich mehr Erklärung zu brauchen, als in diesem Thread bisher steht.
      Wenn man es lokal betreibt und nur selbst nutzt, wird man nicht blockiert. Aus Sicht der jeweiligen Suchmaschine sieht die Zahl der Requests fast genauso aus wie bei direkter Nutzung.
      Selbst wenn noch ein paar Leute im Haushalt es nutzen, dürfte es weiterhin in Ordnung sein.
      Ich habe das alte searx ein bis zwei Jahre lang lokal betrieben und hatte keinerlei Probleme.
    • Kannst du das genauer erklären?

  • Es gibt viele öffentlich gehostete searx-Instanzen. Es gibt auch Listen öffentlicher Instanzen im Netz; wenn man ein Tool sucht, das jede Suche aus der Browser-Adressleiste an eine zufällige Instanz schickt, kann man neocities verwenden: https://searx.neocities.org/changelog
    Ich nutze es ständig. Der Nachteil ist, dass man gelegentlich bei einer Instanz landet, die gar keine oder sehr schlechte Ergebnisse liefert. In letzter Zeit passiert das seltener.

  • SearXNG ist hervorragend, aber es gibt ein paar Punkte zu beachten.
    Wenn man es auf einer Maschine mitlaufen lässt, die NAT für mehrere Geräte bereitstellt, hilft das, Sperren durch Upstream-Suchmaschinen wie DuckDuckGo zu vermeiden. Wenn man es nicht auf einer IP betreiben kann, die auch für andere Dinge genutzt wird, wäre eine Funktion schön, mit der Zugriffe auf bestimmte Upstream-Suchmaschinen über einen separaten Proxy geleitet werden. Dieses Problem ist wirklich häufig.
    Ich hätte gern einen 100 % wortwörtlichen Suchmodus, bei dem jedes eingegebene Wort exakt so in den Ergebnissen vorkommen muss. Vielleicht entspricht das einfach dem Voranstellen von „+“ vor jedes Wort und Anführungszeichen um jedes Wort. Es ist nervig, wenn wegen zu weniger Ergebnisse ständig Wortänderungen vorgenommen werden, die ich ausdrücklich nicht wollte.
    Wie auch anderswo erwähnt, möchte ich bestimmte Domains ausdrücklich ausschließen können. Ich verstehe, dass SearXNG zustandslos sein möchte, aber man könnte das über eine separate URL konfigurieren oder so einstellen, dass es für alle Suchen gilt. Wenn ich zum Beispiel nach einem PDF-Handbuch suche, möchte ich Seiten wie „manualslib.com“ niemals sehen.
    Es wäre schön, wenn diese Dinge gelöst würden; abgesehen davon hat es ziemlich gut funktioniert, SearXNG zu betreiben und Leuten zu empfehlen, es statt Google zu verwenden.

  • Alle verkaufen hier Searx, aber persönlich mag ich presearch.com.
    Ich habe keinerlei Verbindung dazu und keine finanziellen Interessen daran. Auch ihr kryptowährungsbasiertes Geschäftsmodell interessiert mich nicht.
    Tatsächlich sehe ich den Mangel an Google- oder Bing-artiger Filterung der Suchergebnisse nicht als Haltung zum Schutz der Meinungsfreiheit, sondern eher als Folge von Geldmangel oder von anderen Prioritäten, die für ihren Erfolg wichtiger sind. Das ähnelt den frühen Tagen des Internets, als Unternehmen in ihrer Bedürfnishierarchie eher darauf fokussiert waren, Dinge überhaupt zum Laufen zu bringen, statt nur werbewirksame positive Gefühle oder das Richtige zu zeigen.
    Jedenfalls schaue ich bei Themen, die Google wahrscheinlich stark filtern würde, oder bei schwer auffindbaren Dingen auf presearch, um eine zweite Perspektive zu bekommen. Ich wünschte, archive.org würde etwas Ähnliches leisten. archive.org hat enorme Datenmengen, aber Indexierung und Durchsuchbarkeit sind nicht gut.

  • Mein Lieblingstool, um aus den jeweils schlechten Ergebnissen der großen Suchmaschinen im Durchschnitt halbwegs brauchbare Ergebnisse zu machen.

  • Ich nutze das seit einem Jahr auf allen Geräten als Standard und bin sehr zufrieden. Es ist genau zweimal hängen geblieben, aber nach einem Update lief es wieder problemlos.
 
GN⁺ 13 일 전
Meinungen auf Hacker News

  • Ich bin der ursprüngliche Entwickler von Searx, beteilige mich aber wegen der Grenzen des Metasuch-Konzepts nicht mehr an der Entwicklung. Mein neues Suchprojekt ist https://github.com/asciimoo/hister (https://hister.org/)
    Hister ist ein spezialisierter Indexer für Websites und lokale Dateien und speichert automatisch besuchte Seiten, die der Browser gerendert hat
    Da der gesamte Seiteninhalt gespeichert wird, sind Offline-Ergebnisvorschauen und die Bereitstellung vollständiger Seiten per MCP möglich
    Ein Beispiel für die Nutzung von MCP gibt es hier: https://hister.org/posts/give-your-ai-assistant-a-private-me...

    • Ich war auf der Suche nach einer Möglichkeit, nützliche Informationen für selbst gehostete LLMs und Agenten-Tools anzureichern. Metasuch-Tools wie SearXNG verringern zwar die Wahrscheinlichkeit, bei der Informationssuche von Bot-Erkennung blockiert zu werden, aber normalerweise möchte man einem Tool Informationen geben, die man bereits gefunden, gelesen oder gesehen hat
      Ich kam zu dem Schluss, dass ein selbst gehostetes Content-Repository, das über Suchmaschine und Browser-Erweiterung Inhalte und Metadaten von Webseiten extrahiert und speichert, für mich die ideale Konfiguration wäre; wenn möglich, wollte ich außerdem föderiertes Teilen von Inhalten und den Import von Creative-Commons-Inhalten wie Wikipedia und Gutenberg
      Hister scheint ziemlich genau dem nahezukommen, was ich wollte, und ich würde in ein paar Wochen gern den Code auditieren und es deployen
    • Hister kommt dem nahe, was ich mir schon länger gewünscht, aber nie gebaut habe. Das meiste, was ich mit einer Suchmaschine mache, ist Dinge wiederfinden, die ich früher gesehen habe; wenn das lokal schnell ginge, wäre das großartig
    • Ich nutze ebenfalls eine Art eigene Suchmaschine
      Ich lade nur Titel, Beschreibung, Thumbnail und die gängigen Open-Graph-Felder herunter, und der Index ist meiner Ansicht nach ziemlich leichtgewichtig. Gecrawlt habe ich 2 Millionen Seiten
      https://github.com/rumca-js/Internet-Places-Database
      Tags und Voting werden unterstützt
      Kürzlich habe ich auch meine erste F-Droid-App veröffentlicht
      https://github.com/rumca-js/OfflineWebSearch
      https://f-droid.org/en/packages/io.github.rumcajs.offlineweb...
    • Sieht gut aus; ich wäre aber auch neugierig, ob du genauer erklären kannst, worin die Grenzen des Metasuch-Konzepts bestehen
    • Vor etwa 20 Jahren hatte ein Freund von mir einen lokalen Proxy gebaut, der den gesamten Web-Traffic sammelte und wie ein Langzeitgedächtnis nutzbar machte. Es gab ein Webinterface, mit dem man schnell Dinge finden konnte, die man vor etwa zehn Tagen gesehen hatte, oder zum Beispiel einen bestimmten Algorithmus, der einem im Kopf herumging, dessen Namen man aber nicht mehr wusste
      Ich sammle seit Jahren allerlei arbeitsbezogene Links und nutze sie täglich, um auf zufällige Fragen von Freunden oder Kollegen Antworten wie Kaninchen aus dem Hut zu zaubern. Wenn etwa jemand nach Ideen für Farbpaletten für Datencharts fragt, kann ich sofort eine passende wissenschaftliche Studie liefern; bei weniger bekannten Algorithmen ist es ähnlich
      Mit der Zeit ist die Sammlung ziemlich groß geworden, sodass es sehr mühsam wurde, das Passende zu finden; ich frage mich, ob dieses Projekt gut zu meinem Problem passen würde

  • Das wirkt wie ein zentrales Tool, um lokalen Modellen Suche bereitzustellen
    Mich würde interessieren, mit welchen Setups andere diese Funktion bereitstellen
    Seit es das quantisierte Gemma-Modell mit 24 Milliarden Parametern gibt, funktionieren Tool-Calls auf meiner 4070 Ti Super gut, und durch erfolgreiche Tool-Calls ist die lokale Umgebung endlich brauchbar geworden
    Zur Klarstellung: Ich spreche nicht speziell vom Coding, sondern vom allgemeinen Kontext

    • In den Einstellungen gibt es einen JSON-Modus, den man aktivieren muss; dann kann man mit einem einfachen Python-Skript interagieren, oder ein Agent kann ihn per curl und jq bedienen
      Er steht ganz unten auf dieser Seite: https://docs.searxng.org/admin/settings/settings_search.html
    • Ich nutze TinySearch MCP. Wenn man allerdings Unsloth Studio verwendet, ruft es stattdessen die HTML-API von DuckDuckGo auf, und das funktioniert ziemlich gut
    • Ich frage mich ebenfalls, wie ein vollständig lokaler AI-Stack inklusive Websuche und weiterer Tools aussieht. Soweit ich sehe, hat SearX keinen eingebauten MCP-Server, sodass es sich zum Beispiel nicht direkt aus llama-server aufrufen lässt
      Open WebUI hat Integrationen für SearX und andere Anbieter, aber die Ergebnisse, die ich damit bekam, waren nicht besonders beeindruckend
    • Ich frage mich, ob du ein quantisiertes Modell laufen lässt. Ein Freund mit einer 4080 möchte mit lokalen Modellen experimentieren; da die Karte deiner ähnlich sein dürfte, wäre es hilfreich, wenn du etwas mehr zu deinem Setup sagen könntest

  • Ich nutze SearXNG seit über fünf Jahren als Standardsuche im Internet und habe auch Alternativen wie ein YaCy-Backend eingerichtet. Mit dieser Konfiguration baue ich auch interne Dokumentensuchen oder RAG-Anwendungen; SearXNG unterstützt außerdem JSON-Ergebnisse.
    Allerdings gibt es Nachteile, die man aus Datenschutzgründen in Kauf nimmt. Es ist langsamer und die Ergebnisqualität ist schlechter als bei anderen Suchdiensten, aber für die meisten Abfragen ist es schnell genug und gut genug.
    Gelegentlich wird man von Suchdiensten wie DuckDuckGo oder Brave blockiert und muss ein CAPTCHA lösen; mit einem API-Key lässt sich das vermeiden.
    Wenn man ein eigenes Backend nutzt, kann man Ergebnissen Priorität geben. Wenn man zum Beispiel das Small Web oder für einen selbst wichtige Websites crawlt, erscheinen diese Websites oben in den Suchergebnissen.

    • Ich nutze SearXNG ebenfalls seit über fünf Jahren täglich.
      Mich würde interessieren, ob du eine YaCy-Instanz selbst „sehr schnell“ betreibst oder ob es dafür eine bestimmte Konfiguration gibt.
      Meiner Erfahrung nach streamt YaCy die Ergebnisse eher langsam über etwa 30 Sekunden hinweg, daher passte es nicht gut als SearX-Backend.
      Ich stelle lokal über kiwix-serve auch ZIM-Dateien wie Wikipedia, Wiktionary, Gutenberg und ArchWiki bereit, aber die Kiwix-Suchmaschine [0] liefert ebenfalls viel zu viele Ergebnisse und verschmutzt damit die SearX-Ergebnisseite, weshalb sie sich als Backend nicht gut eignet.
      Ich habe SearX noch nicht mit einer lokalen Recoll-Instanz [1] verbunden. Recoll unterstützt keine Indexierung von ZIM-Dateien, könnte aber für andere archivierte HTML-Dokumente nützlich sein.
      Suche richtig umzusetzen ist schwierig; wenn es also eine Konfiguration gibt, die in der Praxis gut funktioniert, würde ich gern mehr darüber erfahren.
      [0] https://kiwix-tools.readthedocs.io/en/latest/kiwix-serve.htm...
      [1] https://docs.searxng.org/dev/engines/online/recoll.html

  • Ich nutze SearXNG seit einigen Jahren. Wegen der unmenschlichen Netzwerksperren der GFW und der Proxy-Erkennung von Suchmaschinen betreibe ich keine eigene Instanz, sondern verlasse mich auf die Liste öffentlicher Instanzen [1] und libredirect [2].
    Der Dienst einer einzelnen Instanz ist nicht garantiert, aber man kann innerhalb einer Minute nahezu kostenlos zu einer anderen verfügbaren Instanz wechseln.
    Schwer zu sagen, dass SearXNG beim Entgoogeln hilft. Eine Metasuchmaschine ruft zur Ergebnisgewinnung schließlich andere Suchmaschinen wie Google auf.
    Trotzdem merkt man bei SearXNG schnell, dass sich Dinge wie KI-Zusammenfassungen vermeiden lassen.
    [1] https://searx.space
    [2] https://github.com/libredirect/browser_extension

    • Bei öffentlichen Instanzen muss man heutzutage viele durchprobieren, um zu sehen, ob sie richtig funktionieren. SearXNG braucht ein besseres Qualitätsmanagement.
      Oft muss man in die Einstellungen gehen und nicht funktionierende Suchmaschinen deaktivieren oder gut funktionierende Engines auswählen. Meist liegt es daran, dass die Instanz blockiert wurde; es gibt ein Zuverlässigkeitsproblem.
      Welche Engines funktionieren, unterscheidet sich je nach öffentlicher Instanz, sodass ein gespeicherter Einstellungs-Hash nicht immer hilft.
      Es wäre schön, wenn SearXNG die angezeigten Suchmaschinen automatisch nach Zuverlässigkeit anpassen würde oder dafür eine Option anbieten könnte.

  • Ich betreibe es seit einigen Jahren selbst gehostet als Standard-Engine für alle Suchanfragen und kann es sehr empfehlen.

    • Nachdem ich kürzlich gemerkt habe, dass Exa ziemlich teuer ist, werde ich SearXNG ausprobieren. Besonders wenn pro Suche 30 bis 40 Quellen geholt werden; ich hatte es als Standard genutzt und war dann von der Rechnung überrascht.

  • TinySearch legt sich um SearXNG und funktioniert gut für Agenten. Es ist besser als natives SearXNG-MCP, weil es den Kontext optimiert, bevor er den Agenten erreicht, und dadurch keine Tokens verschwendet.
    https://github.com/MarcellM01/TinySearch

    • Als ich zuletzt nachgesehen habe, hatte SearXNG keinen eingebauten MCP-Server.

  • An die Brave Search API angebunden funktioniert es gut, als Scraper ist es aber ziemlich instabil. Google funktioniert seit ein paar Tagen nicht mehr.

  • Ich habe https://github.com/denysvitali/searxng-mcp gebaut, um es als MCP für Coding-Agenten zu nutzen. Es funktioniert sehr gut, bis man beim Anbieter, zum Beispiel DuckDuckGo, an Rate Limits stößt.
    Zum Ausführen braucht man auch einen SearXNG-Server, daher bin ich in letzter Zeit zu einer Standalone-Lösung übergegangen: https://github.com/denysvitali/search-mcp

    • Ich habe etwas Ähnliches gebaut ([1]), das interessant sein könnte. Es ähnelt deinem Projekt, hat aber den interessanten Unterschied, dass searxng intern gebündelt ist, sodass man keine separate SearXNG-Instanz ausführen oder suchen muss.
      [1]: https://github.com/nikvdp/searxng-ai-kit

  • Ich mag SearXNG schon seit einiger Zeit sehr. Meine Abneigung gegen Google ist immer weiter gewachsen, und es ist großartig, suchen zu können, ohne dass ohne meine Zustimmung so etwas wie ein kleines KI-Modell auf meinem PC installiert wird.

  • Dieses Tool hat mir immer gefallen, aber ich bin zwiegespalten, wie sehr es der Privatsphäre hilft, die Suche nicht an ein Unternehmen, sondern an 280 Unternehmen zu schicken.