Marginalia: Drei Jahre im Rückblick
(marginalia.nu)- Marginalia Search begann als kleines Experiment, um das „coole Internet“ zu finden, und wurde in drei Jahren zu einem Vollzeitprojekt; auch die Suchmaschine ist inzwischen so nah an ihrem bislang stabilsten Zustand wie nie zuvor
- Die Kernarbeit dieses Jahres war das Aufräumen der Codebasis und die Vereinfachung der Anwendung, um den Betriebsaufwand zu senken und sie für andere Betreiber und Entwickler leichter handhabbar zu machen
- Früher waren für Indexwechsel tagelange Unterbrechungen nötig, jetzt entfallen diese Ausfälle, und zuletzt wurden sogar Zero-Downtime-Upgrades möglich
- Die Suchqualität hat sich seit der Unterstützung für Anchor-Text-Keywords verbessert; nachdem sich die Relevanzsignale etabliert hatten, wurde die Fähigkeit, passende Ergebnisse zu finden, deutlich besser
- Das Ziel, 1 Milliarde Dokumente zu indexieren, wird weiterverfolgt, aber das niedrige Signal-Rausch-Verhältnis des Webs macht es schwieriger als erwartet; der nächste Schwerpunkt liegt auf der Verbesserung von Query Parsing und Ausführung
Drei Jahre: vom Experiment zum Vollzeitprojekt
- Marginalia Search begann vor drei Jahren als kleines Experiment und ist heute ein Projekt, an dem in Vollzeit gearbeitet wird
- Die Suchmaschine hat zwar noch Verbesserungspotenzial, wird aber als der bisher am besten funktionierende Stand bewertet
- Einer der größten Meilensteine war der Umzug der Suchmaschine aus dem Wohnzimmer auf einen Enterprise-Server
- Dieses Jahr lag der Fokus darauf, den Betriebsaufwand auf ein tragbares Maß zu senken und die Codebasis und Anwendung aufzuräumen, damit andere Betreiber und Entwickler leichter darauf zugreifen können
- Auch die Betriebsweise hat sich stark verändert
- Früher waren bei Indexwechseln tagelange Serviceunterbrechungen nötig
- Jetzt entfallen Unterbrechungen beim Indexwechsel
- Inzwischen sind sogar Zero-Downtime-Upgrades möglich
- Viele Aufgaben, die früher mehrere Wochen manuelle Prozesse erforderten, werden heute per Knopfdruck in der GUI erledigt
Suchqualität und Ausbau des Index
- Für die Suchrelevanz hatte die Unterstützung von Anchor-Text-Keywords großen Einfluss
- Direkt nach der Änderung war der Effekt noch nicht klar erkennbar, weil die Integration noch nicht ausgereift war
- Nachdem sich die neuen Relevanzsignale etabliert hatten, verbesserte sich die Fähigkeit der Suchmaschine, relevante Ergebnisse zu finden, deutlich
- Dank der Unterstützung von NLnet ist das Projekt seit etwa acht Monaten Vollzeitarbeit
- Eine Herausforderung bleibt, nicht zu viel zu arbeiten
- Es wird versucht, mindestens einen Ruhetag pro Woche einzuhalten, in der Überzeugung, dass man ausgeruht klüger arbeiten kann
- Das Ziel von 1 Milliarde indexierten Dokumenten wird weiterverfolgt
- Die Schwierigkeit liegt weniger in der Verarbeitungsfähigkeit der Software als im schlechten Signal-Rausch-Verhältnis des Webs
- Einer der Hauptgründe, warum die Suchmaschine relativ gut funktioniert, ist auch die Frage, was nicht indexiert wird
- Der Indexumfang ist von 50 bis 100 Millionen vor einem Jahr auf 220 Millionen beim letzten Crawl gewachsen
- Nach Abschluss der nächsten Crawl-Runde könnten es, gemessen am Wachstum der bereits abgeschlossenen zwei Partitionen, 290 bis 300 Millionen werden
Nächste Verbesserungen und Unterstützung
- Das nächste Verbesserungsziel ist Query Parsing und Ausführung
- In diesem Bereich gibt es viel Verbesserungspotenzial
- Vor der eigentlichen Arbeit laufen vorbereitende Aufräumarbeiten am betroffenen Code
- Die großen Sprünge des Projekts kamen immer aus Experimenten; selbst wenn es geplante Arbeiten gibt, ist es gut möglich, dass am Ende wie bei Anchor-Text etwas Ungeplantes die wirklich großen Veränderungen bringt
- Dank an NLnet, FUTO, Patreon-Unterstützer, Förderer und Nutzer
1 Kommentare
Hacker-News-Kommentare
Ich habe das gebookmarkt und nutze es, um extrem nischige Materialien zur numerischen Modellierung zu finden.
Bei Solvern, Mesh-Generierung und Optimierungsverfahren findet es deutlich bessere Quellen als das, was man über Google finden kann, und auch Material aus den 80er- und 90er-Jahren taucht gut auf.
Wenn man nicht nur fertige kommerzielle Pakete verwendet, ist es sehr wertvoll, solches Wissen und Fortran-Codebeispiele finden zu können.
Stimmt, das ähnelt wirklich der Suche von früher.
Selbst wenn eine Suche wie „all quiet on the western front book movie differences“ nichts findet: 1998 hätte AltaVista auf diese Weise auch nichts gefunden.
Wenn man stattdessen nur „all quiet on the western front“ eingab, bekam man viele seltene Sites wie persönliche Blogs; bei „polytopes“ kamen Uni-Paper und Code-Sites, und bei „rust generics“ fanden sich Mailinglisten-Diskussionen, Blogs, Rust-Diskussionsgruppen, persönliche Websites und fachliche Debatten.
Genau das war Websuche früher; die Frage ist, wie man das langfristig finanziell tragfähig macht.
Die tatsächlichen Betriebskosten liegen bei etwa 100 Dollar pro Monat für Colocation plus persönliche Lebenshaltungskosten, daher reicht das eingehende Geld länger als man denkt.
Wenn es künftig weiter verfeinert wird, könnte zusätzliche Finanzierung von ähnlich denkenden Leuten entstehen, oder man könnte API-Zugriff an andere Suchmaschinen verkaufen.
Suche ist berüchtigt dafür, außerhalb von Werbung schwer zu monetarisieren zu sein, aber bei niedrigen Kosten wirkt das wie ein ziemlich vernünftiger Weg.
Ich habe nach „transformers intuition“ gesucht, und die Ergebnisse waren wirklich beeindruckend.
Google führte zu SEO-optimierten Sites, vor allem Medium und Seiten, die nur glänzend aussehen, inhaltlich aber schwach sind; Marginalia war deutlich besser.
Ein rückblickender Thread, der zeigt, wie es schon sechs Monate nach dem Start gut funktionierte und zugleich noch unausgereifte Seiten hatte: https://news.ycombinator.com/item?id=28550764
Allerdings scheinen im aktuellen Standardfilter etwas zu viele Ergebnisse von Reddit, Stack Exchange und Wikipedia enthalten zu sein.
Der Teil, der mich am meisten angesprochen hat, war dieser:
Dass es schwieriger ist als erwartet, liegt nicht daran, dass die Software es nicht bewältigen kann, sondern daran, dass das Signal-Rausch-Verhältnis des Webs schlecht ist; ein großer Grund dafür, dass diese Suchmaschine vergleichsweise gut funktioniert, ist, was sie nicht indexiert.
Ich nutze Marginalia nicht oft, weil ich an Google gewöhnt bin, aber das Projekt selbst ist großartig.
Da es offenbar immer mehr spamartige SEO-Sites und KI-generierte Antworten gibt, werde ich es künftig wohl häufiger verwenden.
Optimistisch betrachtet könnte es diesem Niveau nahekommen, wenn die Arbeiten an Abfragen und Ausführung etwa bis zu diesem Sommer abgeschlossen sind.
Ich würde Viktor gern fragen, ob Common Crawl [0] hilfreich sein könnte.
Derzeit umfasst es etwa 100 TB und 3,35 Milliarden Seiten; wenn man es nicht direkt in S3 verarbeitet, dürfte der Download lange dauern, und das Signal-Rausch-Verhältnis kenne ich nicht.
[0] https://commoncrawl.org/overview
Eine coole Suchmaschine.
Ich will mir bald auch den Source ansehen; bei der Suche nach „ROME2D16-2T“ kamen relevante Ergebnisse aus obskuren Quellen heraus, und das war nützlich.
Ich habe drei aktuelle Google-Suchen ausprobiert.
„india test cricket lowest total“ brachte keine guten Ergebnisse oder Antworten; „raid calculator“ lieferte zwar ordentliche Ergebnisse, aber wegen des Wortes raid war auch Rauschen wie Seiten zu Pokémon-Save-/Cheat-Editoren dabei.
„all quiet on the western front movie book differences“ ergab 0 Treffer, also eine komplett leere Seite.
Sie ist ein Werkzeug, um Dokumente im Internet zu finden, statt Fragen zu beantworten; eine Antwortfunktion wäre zwar wünschenswert, geht aber oft auf Kosten der Fähigkeit, Dokumente zu finden.
Die Pokémon-Ergebnisse behandelten eine Anwendung namens „raidcalc“, was aus Sicht einer Suchmaschine, die Nutzer überhaupt nicht profiliert und ihre Interessen nicht kennt, wie eine ziemlich gute Übereinstimmung wirkt.
„all quiet on the western front movie book differences“ scheint an die Obergrenze für die Abfragelänge gestoßen zu sein; das ist ein altes Überbleibsel aus der Zeit, als lange Abfragen nicht gut verarbeitet wurden, und dürfte entfernbar sein.
Ich habe das Limit erhöht, aber die Ergebnisse waren immer noch nicht besonders gut; das fällt genau in den nächsten Arbeitsbereich: Abfrageverständnis und -ausführung.
Die aktuelle Suchmaschine versteht eine Abfrage nicht so gebündelt, wie ein Mensch es tun würde:
all quiet on the western frontals Phrase, die idealerweise im Titel steht oder mehrfach vorkommt, währendmovie,bookunddifferencesim Dokument wichtig sind, aber nicht unbedingt exakt in dieser Reihenfolge erscheinen müssen.Derzeit sucht sie nach Dokumenten, in denen alle Wörter nahe beieinander vorkommen, oder in denen einzelne Wörter eine hohe tf-idf-Relevanz haben; für diese Abfrage ist das nicht geeignet.
Interessant. Jemand hat eine beliebige Website [0] gefunden, auf der jemand einfach zum Spaß C&C Tiberian Sun per Binary-Patch um IPv6-Unterstützung erweitern wollte.
Das hat stark das Gefühl des alten Webs, das man vermisst.
Seltsamerweise musste ich an Fravias Searchlores [1] denken; wenn Umberto Eco sich für Computer interessiert hätte, hätte es sich wohl so angefühlt.
Auch die Site selbst fühlte sich an wie das Bibliothekslabyrinth aus Der Name der Rose: Man biegt irgendwo um eine Ecke, entdeckt etwas Erstaunliches und verliert es später für immer wieder :D
[0] http://ts.sesse.net/
[1] https://www.biostatisticien.eu/www.searchlores.org/indexo.ht...