- Um persönliche Webinhalte wieder sichtbar zu machen, die von Werbung und Kommerzialisierung überlagert wurden, integriert Kagi Small Web in Suche, Website, RSS und API
- Small Web bezeichnet ein nicht-kommerzielles Web, das von Einzelpersonen eher zur Selbstdarstellung und zum Wissensaustausch als aus finanziellen Motiven geschaffen wird; Kagi kuratiert rund 6.000 Websites und sammelt neue Inhalte
- Die Kagi-Suche nutzt die Indizes Teclis und TinyGem, um auch bei allgemeinen Suchbegriffen wie
swiftuioderapple watchBeiträge aus persönlichen Blogs anzuzeigen - Die neue Website von Kagi Small Web funktioniert ohne JavaScript; Nutzer können bei Beiträgen ein „appreciate“ hinterlassen oder öffentliche Notizen schreiben, die nach etwa einer Woche verschwinden
- Website-Betreiber können sich über die kuratierte GitHub-Liste, die Feedback-Seite und Discord beteiligen; RSS wird alle 5 Stunden aktualisiert, die API kostet 2 US-Dollar pro 1.000 Abfragen
Das Web, auf das Kagi Small Web abzielt
- Kagi Small Web ist eine Initiative von Kagi, um ein menschlicheres Web zu schaffen
- „Small Web“ hat keine einheitliche Definition, bezeichnet aber meist ein nicht-kommerzielles Web, das eher für persönliche Selbstdarstellung oder Wissensaustausch als für finanziellen Gewinn geschaffen wird
- Das Konzept knüpft an die Atmosphäre des frühen Webs an, als das Internet noch weniger kommerzialisiert war, bevor werbebasierte Geschäftsmodelle es dominierten
- Als Material zum tieferen Verständnis wird Ben Hoyts The Small Web is Beautiful vorgestellt; im GitHub-Repository ist außerdem eine Liste verwandter Texte verlinkt
Wie Inhalte gesammelt und sichtbar gemacht werden
- Kagi Small Web sammelt Beiträge, die innerhalb der letzten Woche veröffentlicht wurden, aus einer eigens kuratierten Blogliste und zeigt sie über mehrere Wege an
- Sie werden in den Kagi-Suchergebnissen automatisch als Resultate zu passenden Suchanfragen angezeigt
- Sie sind auf der Kagi Small Web Website zu sehen
- Sie werden als RSS-Feed bereitgestellt
- Sie sind in der news enrichment API der Search API enthalten
- Bestehende Kagi-Mitglieder müssen nichts separat einstellen, um Small-Web-Inhalte in den Suchergebnissen zu sehen
- Das Experiment wurde von einer Diskussion auf Hacker News inspiriert und begann damit, Ende Juli Blogbeiträge von HN-Nutzern in den Suchergebnissen anzuzeigen
- Die kuratierte Liste umfasst derzeit rund 6.000 echte Websites, die von Menschen mit unterschiedlichen Interessen betrieben werden
- Die gesamte Initiative und die Liste der kuratierten Websites sind auf Kagi GitHub öffentlich zugänglich
Persönliches Web in den Suchergebnissen
- Kagi hatte Small-Web-Inhalte bereits zuvor über seine eigenen Suchindizes Teclis und TinyGem angezeigt
- Durch diese Integration werden hochwertige, aber weniger bekannte Webinhalte nun direkter als Unterscheidungsmerkmal der Kagi-Suchergebnisse sichtbar
- Suchbeispiele
- Die Suche nach
swiftuizeigt einen SwiftUI-Beitrag zu iOS 17 aus Keith Harrisons Blog „Use Your Loaf“ - Die Beispiel-URL der Kagi-Suche wurde mit der Funktion Share this Search erzeugt, sodass auch Nutzer ohne Kagi-Konto die Ergebnisse sehen können
- Die Suche nach
apple watchblendet zusätzlich einen aktuellen Beitrag aus Timos Blog „Screaming at My Screen“ ein - Im selben Ergebnis erscheint über den Teclis-Index auch der Beitrag Apple Watch Pixels aus dem Jahr 2015
- Die Suche nach
- Solche Ergebnisse helfen dabei, im Gegensatz zu Suchresultaten, die sich auf große Websites konzentrieren, selbst beim gleichen Thema vielfältigere Perspektiven zu entdecken
Kagi Small Web Website
- Die Kagi Small Web Website ist eine neue Plattform, die aktuelle Small-Web-Inhalte sichtbar machen soll, die in herkömmlichen Suchmaschinen leicht übersehen werden
- Die Seite funktioniert im Geist des Small Web ohne JavaScript
- Nutzer können Beiträge mit „appreciate“ markieren oder temporäre öffentliche Notizen hinterlassen
- Die Notizen verschwinden nach etwa einer Woche, wenn neue Inhalte nachrücken
- Dieses Design betont den flüchtigen und unvollkommenen Charakter des Small Web
- Als die Seite vorab einigen Beta-Testern im Discord-Kanal gezeigt wurde, wollte ein Nutzer mehr schreiben, nachdem er gesehen hatte, dass sein Blog in den kuratierten Feed aufgenommen worden war
Auswahlkriterien und Bedingungen für Veröffentlichungen
- Um in den kuratierten Feed aufgenommen zu werden, müssen folgende Kriterien erfüllt sein
- Im Blog müssen Beiträge vorhanden sein, die mindestens 3 Jahre alt sind
- Die Inhalte müssen auf Englisch sein
- Die Website muss authentische Selbstdarstellung oder einen hohen Informationswert bieten
- NSFW-Inhalte sind ausgeschlossen
- Damit Beiträge auf der Kagi-Small-Web-Website erscheinen, gelten zusätzliche Bedingungen
- Der Beitrag muss innerhalb von 7 Tagen veröffentlicht worden sein
- Die Website muss mit iframe-Einbettung kompatibel sein
- Auch Websites, die nicht mit iframe kompatibel sind, können weiterhin für Suchergebnisse indexiert werden
- Der Code der Website ist ebenfalls als Open Source veröffentlicht; Pull Requests sind willkommen
Experiment Small YouTube
- Kagi bietet auch das experimentelle Feature Small YouTube an
- Diese Funktion hebt Inhalte von aufstrebenden YouTube-Creatorn mit weniger als 400.000 Abonnenten hervor
- Kagi sammelt Feedback zu diesem Kriterium
RSS, API und Beteiligungswege
- Der RSS-Feed von Kagi Small Web bietet Echtzeit-Updates und wird alle 5 Stunden aktualisiert
- API-Nutzer können über den integrierten TinyGem-Index von Kagi Small Web auf hochwertige Nachrichten abseits des Mainstreams zugreifen
- Der Preis liegt bei 2 US-Dollar pro 1.000 Abfragen
- Wenn Websites fehlen oder ungeeignete Aufnahmen gefunden werden, kann gemäß den Richtlinien zur kuratierten Liste beigetragen werden
- Fehlermeldungen und Funktionsvorschläge werden auf kagifeedback.org mit dem Tag
small-webeingereicht - Allgemeine Diskussionen finden im Kagi Discord statt
Die Annahmen, die das Projekt bewusst in Kauf nimmt
- Wenn das Web von unzähligen Menschen geschaffen wird, ist die Frage, warum sie in traditionellen Suchmaschinen verborgen bleiben und wie sich das ändern lässt, der Ausgangspunkt dieser Initiative
- Da die gecrawlten Inhalte alles Mögliche enthalten können, ist Kagi der Ansicht, dass es bei Empfehlungen einer bewusst reputationsgebundenen Auswahl bedarf
- Menschen, die zum Small Web beitragen, investieren Zeit und Mühe in ihre Arbeit, auch wenn ihnen kein Publikum garantiert ist
- Kagi will ein menschlicheres Web wiederbeleben, in dem Kreativität, Selbstdarstellung und bedeutungsvolle Inhalte reichlich vorhanden sind
1 Kommentare
Meinungen auf Hacker News
Hier ist Vlad von Kagi. Direkt nach der Veröffentlichung des Blogposts ist der RSS-Feed unerwartet kaputtgegangen, was sich wirklich nach small web-Geist angefühlt hat :) Der Feed ist jetzt wiederhergestellt, und da die Website denselben Feed nutzt, funktioniert sie wieder.
Das war für mich persönlich ein Herzensprojekt, und weil das Team mit anderen Dingen beschäftigt war, habe ich selbst ziemlich tief in den Code eingegriffen. Wenn es heißt „der Feed ist kaputt“, bedeutet das eigentlich, dass ich ihn kaputtgemacht habe. Für einen Entwickler alter Schule ist Software eine schmutzige Angelegenheit, und beim ständigen Zurückgehen und Reparieren von Dingen, die ich schon für in Ordnung hielt, habe ich auch gelernt, dass ich kein guter Coder mehr bin. Den Code kann man im verlinkten Repository ansehen: https://github.com/kagisearch/smallweb
Am wichtigsten ist: Diese Website hat für mich das Bedürfnis nach Entdeckung ersetzt, und es hat sich gut angefühlt, verschiedene Menschen und Texte kennenzulernen. Viele unerwartete Dinge sind aufgetaucht, und das Web fühlte sich wieder näher an. In diesem Konzept steckt ein Hoffnungsschimmer, und es gibt auch echte Verbesserungen bei Suchqualität und Vielfalt.
Die Liste der enthaltenen Websites findet man hier: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
Die neuesten Beiträge erscheinen bereits auch in Kagi-Suchergebnissen zu passenden Anfragen: https://kagi.com/smallweb
Künftig fände ich es gut, wenn man nur innerhalb des small web suchen könnte; vielleicht wird das später als Lens angeboten.
Bei den Regeln zur Eigenwerbung stimme ich der aktuellen Linie nicht zu. Bei älteren Blogs sollte man, selbst wenn man die Schwelle auf etwa ein Jahr senkt, Leuten erlauben, sie selbst einzureichen. Der Großteil des kleinen/Indie-Webs leidet unter zu wenig Sichtbarkeit, das würde also helfen. Mein Blog scheint aus einem früheren „Bitte teilt eure Blogs auf HN“-Thread gesammelt worden zu sein und ist daher schon im Index, aber andere hatten vielleicht nicht so viel Glück.
Kagi ist für mich eine enorme Leistung. Es ist die erste Suchmaschine, die bessere Ergebnisse als Google liefert, Privatsphäre respektiert und Personalisierung sowie mehr Funktionen bietet.
https://search.marginalia.nu und es wird auch auf HN häufig erwähnt: https://hn.algolia.com/?query=marginalia
Ich bin Kagi-Kunde und sehr zufrieden. Die Suchmaschine ist erstaunlich gut, und diese Funktion gefällt mir als Wahl meiner Suchmaschine noch besser.
Die Formulierung „Diese Notizen werden nach etwa einer Woche durch neue Inhalte ersetzt und verschwinden. Das unterstreicht den vergänglichen und unvollkommenen Charakter des small web.“ — Kagi könnte einfach zugeben, dass sie die Notizen nicht kuratieren oder dauerhaft speichern wollen. Man muss das small web dafür nicht schlechtmachen. Viele kleine Websites bewahren ihre Inhalte gut.
Kagi hat vielleicht Daten darüber, wie häufig Websites offline gehen, aber meiner Erfahrung nach verschwinden Inhalte auf großen Plattformen ebenfalls oft, selbst wenn es nicht daran liegt, dass der Ersteller sie vergessen hat. Small-Web-Websites von engagierten Urhebern haben eher das Potenzial, deutlich länger zu bestehen.
Es wäre schön, wenn Kagi Small Web ein ActivityPub-Interface hätte, sodass man die am höchsten bewerteten Websites eines Tages in die Mastodon- oder Lemmy-Timeline einbinden könnte.
Kagi ist sein Geld absolut wert. Ich nutze es seit sechs Monaten als primäre Suchmaschine und glaube, in dieser Zeit etwa zehnmal Google
!gverwendet zu haben.Schade ist nur, dass ich die Suche ziemlich viel nutze und auch versehentlich oft suche, sodass ich monatlich häufig über das Suchkontingent der „Pro“-Stufe komme. Trotzdem ist es gut, dass es die Option gibt, zusätzliche Suchen zu kaufen, statt auf die ziemlich teure Unlimited-Stufe wechseln zu müssen.
Die Suchergebnisse sind durchweg besser als anderswo, einschließlich DuckDuckGo, und deshalb werde ich auch künftig ein zufriedener zahlender Kunde bleiben.
Es fühlt sich ein wenig so an wie damals, als ich zu Zeiten von AltaVista zum ersten Mal Google entdeckt habe.
Außerdem unterstützt Searx deutlich mehr Suchmaschinen und lässt sich exakt so konfigurieren, wie ich es möchte.
Kagi hat eindeutig gute Absichten und ein gutes Produkt, und ich hoffe, dass sie Erfolg haben. Trotzdem bevorzuge ich eine gleichwertige Open-Source-Self-Hosting-Lösung, selbst wenn sie weniger poliert ist und weniger Funktionen hat, gegenüber einem proprietären SaaS-Angebot, für das man ein Konto anlegen muss.
Edit: Tatsächlich lag ich falsch. Kagi hat auch einen eigenen Crawler und Index: https://help.kagi.com/kagi/search-details/search-sources.html Trotzdem habe ich nicht das Gefühl, dass den Searx-Ergebnissen etwas fehlt, also verpasse ich nicht viel.
Was mir bei Searx und teilweise auch bei Kagi Sorgen macht: Drittanbieter könnten solche API-Anfragen jederzeit blockieren. Dann wäre Searx nicht mehr nutzbar, und auch die Ergebnisse von Kagi könnten weniger relevant werden. Ich weiß nicht, ob dieser Ansatz nachhaltig ist, um eine Suchmaschine aufzubauen, aber die Haltung von Kagi und Searx zu Werbung schätze ich sehr. Eine Mainstream-Suchmaschine über ein eigenes Frontend zu nutzen, ist bestenfalls eine frustrierende Erfahrung.
Wegen solcher Dinge bin ich wirklich froh, Kagi-Abonnent zu sein. Ich bekomme nicht nur einen Nutzen aus Kagi, sondern sehe auch, dass mein Geld dafür eingesetzt wird, Kagi in eine Richtung weiterzuentwickeln, der ich zustimme.
Im Vergleich dazu fühlt sich Spotify feindselig an, obwohl es nur eines meiner Abos ist. Ich bezahle dafür, aber wenn ich das Gefühl hätte, es gäbe eine Alternative, würde ich sofort kündigen.
Ich schätze es sehr, dass das, wofür ich gefühlt bezahle, mit der Entwicklungsrichtung von Kagi übereinstimmt.
Spotify ist wirklich feindselig und manipulativ und furchtbar für Künstler. Aus meiner Sicht ist der Startbildschirm übermäßig kommerziell, und das CarPlay-Interface ist, ehrlich gesagt, eine nutzerfeindliche Katastrophe bis hin zu unsicher.
TIDAL ist in vielerlei Hinsicht ziemlich gut. Künstler werden dort auch gut bezahlt, und die Empfehlungen sind ordentlich. Allerdings gibt es in der App seit Jahren dumme Bugs. Der nervigste ist, dass beim Shuffeln einer Playlist die Oberfläche nur das Dutzend Songs mischt, die oben vorab gecacht wurden. Wenn man die gesamte Bibliothek shuffeln will, hört man am Ende immer wieder dieselben etwa zwölf Songs.
Deezer wollte ich mögen, aber die App war nicht besonders gut, und es fehlten mehr Titel, als ich erwartet hatte.
Am Ende bin ich bei Apple Music gelandet. Da ich ein iPhone nutze, passt es naheliegenderweise gut, und das CarPlay-Interface ist hervorragend. Die Auszahlung an Künstler liegt fast auf TIDAL-Niveau. Die Empfehlungen sind gut genug, und der Startbildschirm wirkt auch nicht besonders so, als würde er einem ständig nur das aufdrängen, wofür große Labels Werbegeld bezahlt haben. Die Windows-App ist schrecklich, und eine Linux-App gibt es nicht, aber zum Glück löst Cider, eine ziemlich hervorragende Open-Source-App, dieses Problem.
Es sieht so aus, als würde MathML aus dem RSS-Feed entfernt. Ist das beabsichtigt, oder wird ein älteres Bereinigungstool verwendet, das es nicht erkennt? In meinem RSS-Feed https://www.jefftk.com/news.rss enthält zum Beispiel der neueste Beitrag https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections Folgendes:
<math display="block"><msup><mi>e</mi><mrow><mi>k</mi><mi>t</mi></mrow></msup></math>Im Kagi-RSS-Feed https://kagi.com/api/v1/smallweb/feed erscheint es jedoch als
eundkt.Edit: Ich habe ein Issue angelegt: https://github.com/kagisearch/smallweb/issues/10
Ich habe ein paar Fragen.
Erstens frage ich mich, auf welcher Grundlage jüngere Blog-Updates bevorzugt werden. Meiner Erfahrung nach sind jüngere Updates als Suchergebnisse am schwächsten, anfälliger für Änderungen oder kaputte Links und insgesamt eher von geringerer Qualität. Außerdem frage ich mich, ob das Pushen neuerer Inhalte nicht einen Anreiz schafft, minderwertige Beiträge in großer Zahl zu veröffentlichen, nur um die Chance zu erhöhen, in der Liste aufzutauchen.
Zweitens ist dieser Bereich, wenn man sich ein wenig damit beschäftigt, fast schon absurd stark auf Technik-/Programmierer-Blogs ausgerichtet. Die Gruppe der Menschen mit Blogs und die Gruppe mit Programmierer-Interessen überschneiden sich zwar stark, aber wenn andere Interessen besser vertreten wären, wäre das Ganze vermutlich auch für andere Gruppen attraktiver. Ich frage mich, ob ihr darüber nachgedacht habt und, falls ja, was man eurer Ansicht nach tun könnte.
Zum ersten Punkt spielen mehrere Faktoren eine Rolle. Bei derselben Suchanfrage sind neuere Inhalte oft relevanter, und zumindest verhindert die Aktualität, dass sie völlig irrelevant werden. Das, was man bei einer Suchmaschine am meisten vermeiden sollte, sind völlig irrelevante Ergebnisse. Die Qualität ist bis zu einem gewissen Grad schon dadurch abgesichert, dass es sich um eine kuratierte Liste handelt.
Weil wir auf RSS-Feed-Technologie setzen, war es relativ einfach, die Liste zusammenzustellen und zu pflegen, und es gab viele Quellen, die wir als Anfangsdaten nutzen konnten.
Der Fokus auf neue Beiträge kann manche Menschen dazu ermutigen, mehr zu schreiben, wie im Blogbeitrag als Beispiel hervorgehoben. Im Web braucht es insgesamt mehr hochwertige, nichtkommerzielle Inhalte, und genau dazu wollen wir letztlich beitragen. Wenn wir eine Plattform bereitstellen, die ein solches Verhalten fördert, auch wenn sie sehr klein ist, kommen wir dem Web, das wir mögen, einen Schritt näher.
Zum zweiten Punkt stimme ich im Großen und Ganzen zu. Für diesen Versuch haben wir uns jedoch bemüht, einen vielfältigen Pool von Websites aufzubauen; so sieht man zum Beispiel auch viele Seiten zu Wirtschaft oder Fotografie. Letztlich können wir nur über Plattformen wie Kagi oder Marginalia dazu anregen, dass mehr Inhalte aus unterschiedlichen Bereichen entstehen, und hoffen, dass es gut läuft.
Wirklich großartig! In den letzten zwei Monaten war ich privat auf einer kleinen Reise durch Small-Web-Links. Angefangen hat es mit dem HN-Beitrag „Ask HN: Könnt ihr eure persönlichen Blogs teilen?“, und ich habe auch entdeckt, dass jemand eine Website erstellt hat, die die Links aus diesem Beitrag sammelt: https://dm.hn/
Ich habe alle 1651 Blog-Links als XLS exportiert und öffne gelegentlich jeweils 5 bis 7 davon, lese zufällige Beiträge und markiere sie als „gesehen“. Bisher habe ich 250 von 1651 angesehen.
Es wäre schön, wenn Kagi eine ähnliche Funktion hätte, mit der man Links zu persönlichen Websites aus allen Quellen an einem Ort ansehen kann.
https://github.com/kagisearch/smallweb/blob/main/smallweb.txt
Danke, dass ihr meinen Beitrag „The Small Web is Beautiful“ so prominent verlinkt habt. Ich betrachte ihn als mein persönliches Software-Manifest, daher freut es mich, dass er einem größeren Publikum bekannt gemacht wird.
Mir gefällt wirklich, was ihr mit Kagi Small Web macht. Ich mag die Initiative, solche großartigen Inhalte an die Oberfläche zu holen. Macht bitte weiter so. Ich werde auch einmal die Kagi-Suche ausprobieren.
Vlad, großartig! Es ist schwer zu wissen, wie sehr das Nutzern oder dem Unternehmen tatsächlich hilft, aber es wärmt einem das Herz zu wissen, dass so etwas im modernen Internet noch passiert.
Ich würde meine Website gern zur Liste hinzufügen, aber da ich in
robots.txtalle Crawler blockiere, scheint eine direkte Einreichung nicht erlaubt zu sein. Gibt es eine Möglichkeit, trotzdem aufgenommen zu werden?Ich habe nichts dagegen, in den Kagi-Suchergebnissen enthalten zu sein, möchte aber nicht von Google, ChatGPT und der nächsten ganzen Meute ausgescraped werden, deshalb habe ich auf die einfachste Weise alles blockiert.