Marginalia: eine Suchmaschine, die nichtkommerzielle Inhalte priorisiert

 (marginalia-search.com)
4 Punkte von GN⁺ 2025-01-28 | 1 Kommentare | Auf WhatsApp teilen
  • Marginalia Search ist eine Suchmaschine, die sich darauf konzentriert, weniger kommerziell optimierte Bereiche des Webs zu erkunden und alte, in Vergessenheit geratene Websites wiederzufinden
  • Neben der Suche bietet sie Wege zum Durchstöbern und Entdecken von Websites; die frühere Version bleibt unter old-search.marginalia.nu verfügbar
  • Das Projekt ist als Open Source veröffentlicht und setzt auf einen eigenen Index, einen eigenen Crawler sowie eine einfache technische Architektur ohne KI
  • Der Quellcode ist unter der AGPL-Lizenz verfügbar; über das Git-Repository und den Project Discord sind Projektmaterialien und Community-Zugang erreichbar
  • Der Dienst ist durch den Verzicht auf die Erhebung personenbezogener Daten DSGVO-konform und handhabt Cookies sowie die Speicherung von IP-Logs nur eingeschränkt

Suchmaschine mit Fokus auf die Erkundung des nichtkommerziellen Webs

  • Marginalia Search ist eine Suchmaschine, die nichtkommerzielle Inhalte priorisiert
  • Sie betont die Möglichkeit, alte, in Vergessenheit geratene Websites zu finden, und bietet zugleich Werkzeuge für Suche und Entdeckung
  • Die frühere Version ist weiterhin unter old-search.marginalia.nu nutzbar

Open-Source-Projekt und Betriebskanäle

  • Das Projekt ist als Open Source veröffentlicht
    • Es verwendet einen eigenen Index und eigene Crawler-Software
    • Es setzt auf eine einfache technische Architektur ohne KI
    • Die Lizenz ist AGPL
  • Zugehörige Links

Datenschutz und Log-Richtlinie

  • Grundsätzlich ist der Dienst auf Datenschutz ausgerichtet
    • Tracking wird herausgefiltert
    • Es werden keine Daten an Dritte weitergegeben
    • IPs werden nicht langfristig gespeichert
  • Die Website erfüllt die DSGVO, indem sie keine personenbezogenen Daten erhebt
  • Cookies werden nicht für andere Zwecke als die Bereitstellung der Servicefunktionen verwendet und entsprechen damit der EU Cookie Directive
  • Zugriffslogs mit IP-Adressen werden maximal 24 Stunden gespeichert
  • Anonymisierte Logs, aus denen Referrer-Adressen entfernt wurden, können zur Unterstützung der Fehlerdiagnose länger aufbewahrt werden
  • Kontakt: contact@marginalia-search.com
  • Für IP-Standortinformationen werden Daten von IP2Location LITE verwendet; die Lizenz ist CC-BY-SA 4.0

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-01-28
Hacker-News-Kommentare

  • Ich habe kürzlich einen Essay über diese Suchmaschine und ihren Ranking-Algorithmus geschrieben.
    Die frühe Version von Marginalia nutzte Personalized PageRank, eine interessante PageRank-Variante, die im ursprünglichen Paper behandelt wurde; aktuell werden Seiten meines Erachtens mit BM25 gerankt.
    Personalized PageRank scheint auch noch für Marginalias neue Funktion für ähnlichkeitsbasiertes Seiten-Ranking genutzt zu werden und offenbar bereits in die Website integriert zu sein; früher gab es nur eine Testseite (https://explore2.marginalia.nu/).
    Jedenfalls habe ich großen Respekt vor dem Entwickler, und es war spannend zu lesen, wie Marginalia stark gewachsen ist, sowie die Blogbeiträge (https://www.marginalia.nu/log/).
    Zugehöriger Beitrag: https://www.marginalia.nu/log/26-personalized-pagerank/

    • Für Domain-Rankings wird Personalized PageRank verwendet, sein Einfluss ist aber ein sehr schwacher Faktor.
      Er beeinflusst vor allem die physische Reihenfolge der Ergebnisse im Index und sorgt angesichts begrenzter Query-Ausführungszeit lediglich dafür, dass höher gerankte Ergebnisse früher gefunden werden.
      Explore2 und das in die Suchmaschine integrierte Website-Discovery-Tool verwenden die Kosinus-Ähnlichkeit der eingehenden Link-Vektoren.
      Ich habe zu dieser Technik auch einen Beitrag namens „Creepy Website Similarity“ geschrieben :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
    • Wo ist der aktuelle Essay zu finden?

  • Ich bin der Entwickler. Ich habe die Website kürzlich von search.marginalia.nu auf marginalia-search.com umgezogen und sie optisch etwas überarbeitet.
    Ich hatte das Gefühl, dass sie zu gut funktioniert, um sie wie eine seltsame Subdomain meines Blogs wirken zu lassen.
    Die Suchmaschine selbst ist weiterhin dieselbe :-)

    • In kleinen Web-Communities gibt es derzeit wegen des aggressiven Crawlings durch OpenAI und ähnliche Akteure einige Sorgen.
      Wie häufig crawlt Marginalia indexierte Websites erneut?
    • Der Random-Button der alten Version scheint nicht mehr zu funktionieren. Wurde die Funktion entfernt?
    • Gibt es einen Grund, warum du keinen kürzeren Domainnamen verwendest? Was du gebaut hast, ist wirklich großartig.

  • Für alle, die dieses Projekt nicht weiter verfolgt haben: Das ist ein Herzensprojekt einer einzelnen Person und nicht mit dem Ziel entstanden, mit Google/Bing/DDG zu konkurrieren.
    Es ist eher eine Möglichkeit, im „kleinen Web“ Interessantes zu finden.
    Das sollte man beim Ausprobieren im Hinterkopf behalten.
    Nur zur Klarstellung: Ich bin nicht der Entwickler.

    • Ich weiß nicht, ob sich seitdem etwas geändert hat, aber 2023 hat der Entwickler seinen Job gekündigt, um die Suchmaschine in Vollzeit zu entwickeln https://www.marginalia.nu/log/83_full_time/
      Ein Herzensprojekt ist es, aber nicht bloß ein Nebenprojekt.
    • Stimmt. Allerdings hat Marginalia in bestimmten Nischen, etwa bei Linux und Open-Source-Software sowie Geschichte, oft deutlich bessere Ergebnisse geliefert als Google oder DDG.
      Mainstream-Suchmaschinen scheinen eine Stufe zu haben, die Eingaben verdummt: Wenn man unbekannte Suchbegriffe eingibt, behandeln sie sie offenbar als Tippfehler oder falsche Erinnerung und schicken stattdessen Formulierungen ans Backend, nach denen ich gar nicht gesucht habe.
      Außerdem scheinen Mainstream-Suchmaschinen bemüht zu sein, Unternehmensmedien gegenüber originären, autoritativen Inhalten zu bevorzugen.
      Der Entwickler sagt zwar weiterhin, es sei „dafür gedacht, im kleinen Web Interessantes zu finden“, aber für mich war es nicht nur interessant, sondern tatsächlich nützlich.
      Seit ich vor fast drei Jahren zu Kagi gewechselt bin, muss ich allerdings keine Workarounds wie themenspezifische separate Suchmaschinen mehr pflegen.
      Der Vollständigkeit halber: Andere widersprechen mir oft und sagen, die Google-Ergebnisse seien gut oder die Kagi-Ergebnisse schlecht; bei mir hat Google aber seit über zehn Jahren eine konstante Bilanz darin, selbst einfache Suchanfragen zu verfehlen. Wenn Google gut passt, ist das schön, aber für mich funktioniert es seit über zehn Jahren nicht zuverlässig, und ich habe genug davon.

  • Ich habe nichts besonders Neues hinzuzufügen, aber ich freue mich jedes Mal, wenn dieses Projekt auf HN auftaucht.
    Es zeigt sehr gut, was man mit Geduld und Liebe schaffen kann.

    • Irgendwann wollte ich einmal etwas Ähnliches versuchen, aber das hier übertrifft meine Erwartungen. Wirklich gut gemacht; wenn es eine Möglichkeit gibt beizutragen, sag bitte Bescheid.

  • Ich war überrascht, dass DDG derzeit offenbar keine Marginalia-Bang-Suche hat.
    <https://duckduckgo.com/bangs?q=marginalia>
    Ich habe sie als Vorschlag eingereicht.

  • Ich habe ein paar Dinge erneut gesucht, nach denen ich kürzlich bei Google gesucht hatte, zum Beispiel „celery“, „Wardian case“ und „ferry from Italy to Greece“, und jeweils war das erste Ergebnis ziemlich plausibel.
    Ich werde es einmal ausprobieren.

  • Das ist eines der angenehmsten, nützlichsten und gesündesten Dinge, die ich seit Langem im Web gesehen habe.
    Es wirkt auch technisch sehr solide, und die Nutzungserfahrung ist tadellos.
    Vielen Dank, dass du mich in die glorreichen Zeiten des Internets zurückversetzt hast.

  • Ich habe ein paar relativ einfache Suchbegriffe aus Bereichen eingegeben, die mich interessieren, etwa „attention is all you need paper“, „sip rfc“, „klatt speech synthesizer“, „crafting interpreters book“ und „Scott Alexander Substack“, aber die erwarteten Ergebnisse kamen tatsächlich nicht heraus.
    Marginalia ist einigermaßen gut, wenn man etwas lernen möchte, scheint aber weniger geeignet, wenn man ein bestimmtes Ziel finden möchte.
    Wenn man lesen möchte, was Leute über Scott Alexanders Substack denken, bekommt man brauchbare Ergebnisse; wenn man den Newsletter selbst finden möchte, eher nicht.

    • Stimmt, Navigationsanfragen sind etwas hit-or-miss.
      Ich habe das nicht als hohe Priorität gesehen, weil Google das meiner Ansicht nach bereits sehr gut kann.
      Ich habe mich hauptsächlich darauf konzentriert, worin Google schlecht ist: Inhalte von Menschen zu einem Thema zu finden.

  • Aus Sicht eines Website-Betreibers gefiel mir besonders, dass entdeckte Backlinks öffentlich gemacht werden
    Dank dieses Dienstes habe ich ein paar Backlinks entdeckt, von denen ich nichts wusste

    • Ich habe mir die Backlinks meiner Website angesehen, war aber ziemlich verwirrt, weil tatsächlich keiner davon auf meine Website verlinkt hat

  • Wurde schon zu Zeiten der früheren Domain marginalia.nu ausführlich diskutiert
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - September 2024, 24 Kommentare
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - Februar 2024, 44 Kommentare
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - November 2023, 21 Kommentare
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - Oktober 2023, 39 Kommentare
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - Mai 2023, 22 Kommentare
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - April 2023, 193 Kommentare
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - Februar 2023, 17 Kommentare
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - August 2022, 22 Kommentare
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - August 2022, 22 Kommentare
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - Mai 2022, 72 Kommentare
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - April 2022, 37 Kommentare
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - März 2022, 29 Kommentare
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - Januar 2022, 53 Kommentare
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - September 2021, 717 Kommentare
    https://news.ycombinator.com/user?id=marginalia_nu

    • Sehr gut. Den allerersten Beitrag habe ich gepostet
      Ich mag dieses Projekt und möchte in naher Zukunft etwas Ähnliches ausprobieren