MemoryCache: Mozillas Projekt zur Stärkung browserbasierter lokaler KI

 (future.mozilla.org)
3 Punkte von GN⁺ 2023-12-13 | 2 Kommentare | Auf WhatsApp teilen
  • Der bereitgestellte Text stammt von der Mozilla New Products-Startseite und enthält nicht den Einführungstext zu MemoryCache aus dem Hacker-News-Titel
  • Mozilla New Products ist ein Bereich zum Entdecken, Testen und Erkunden neuer Produkte und lädt Nutzer dazu ein, an der Gestaltung von Technologien der nächsten Generation mitzuwirken
  • Derzeit auffindbare Produkte sind Solo für die Erstellung von Websites, 0din als AI-Sicherheits-Bug-Bounty und Tabstack als API für Web-Ausführung und Datentransformation für AI-Systeme
  • Der Newsletter bietet frühen Zugang zu den neuesten Produkten und Funktionen von Mozilla, das Verfolgen von Updates sowie Möglichkeiten, Feedback zu teilen
  • Allein aus diesem Text lassen sich Architektur von MemoryCache, die Art der Stärkung browserbasierter lokaler KI, Nutzungsmethoden und Einschränkungen nicht bestimmen

Der bereitgestellte Text ist die Mozilla New Products-Startseite

  • Mozilla New Products wird als Ort beschrieben, um innovative Produkte zu entdecken, zu testen und zu erkunden, die helfen sollen, die Produktivität zu steigern, Unternehmen wachsen zu lassen und Produkte zu entwickeln
  • Mozilla betont, Lösungen zu entwickeln, bei denen der Mensch im Mittelpunkt steht, und lädt Nutzer ein, neue Produkte zu testen und gemeinsam Technologien der nächsten Generation zu gestalten
  • Als Leitbild wird vertreten, dass die Zukunft des Internets offen, zugänglich und Privacy-first sein sollte

Auffindbare Produkte und Beteiligungsmöglichkeiten

  • Solo: ein Produkt, mit dem sich kostenlos Websites erstellen und benutzerdefinierte Domains verbinden lassen
  • 0din: ein AI-Sicherheits-Bug-Bounty-Programm, bei dem Schwachstellen in LLM-Modellen gefunden und vergütet werden
  • Tabstack: eine API für Web-Ausführung und Datentransformation, die AI-Systemen hilft, das Web zuverlässig zu lesen und damit zu arbeiten
    • richtet sich an Entwickler, die AI-Agenten, Research-Tools, Datenpipelines und autonome Workflows bauen
  • Der Mozilla-New-Products-Newsletter bietet frühen Zugang zu den neuesten Produkten und Funktionen, das Verfolgen von Updates und das Teilen von Feedback
  • Im bereitgestellten Text gibt es keine Erklärung zu MemoryCache, daher lassen sich weder Funktionen noch Implementierungsdetails bestätigen

Verwandte Beiträge

2 Kommentare

 
ndrgrd 2023-12-14

Alles schön und gut, aber ich hoffe, man versucht nicht ständig, den Browser zu einem Sammelsurium aus allerlei Kram zu machen.
Aus den früheren Internet-Suiten sollte man doch eigentlich seine Lehren gezogen haben.

Browser ist Browser. KI ist KI. Wenn man sie braucht, startet man sie einfach separat.
 
GN⁺ 2023-12-13
Meinungen auf Hacker News

  • Statt dass Daten zum Modell gehen, sollte das Modell zu den lokalen Daten kommen, und die Daten sollten lokal bleiben.
    Es gibt viel Open Source, die persönliche Daten einliest, aber Bilder oder Videos werden dabei nicht besonders gut behandelt. In Zukunft könnte jeder sein eigenes Modell haben, aber im Moment fehlt es trotz vorhandener Technik an Produkten oder Open Source, die es allen leicht machen, ihr eigenes QLORA, RAG oder ihren eigenen Zusammenfasser zu haben.
    Nicht nur Nachrichten oder Dokumente, sondern auch das, was wir lesen und schreiben, sowie unsere Gedanken sind Bestandteile der eigenen Person. Der Browserverlauf sagt viel darüber aus, was man liest, wird aber abgesehen von Googles Nutzung für Werbung kaum verwendet. Man sollte die täglich gelesenen Nachrichtenseiten, sozialen Netzwerke und YouTube-Videos bündeln und sagen können: „Die Zusammenfassung dieser drei Orte heute lautet so.“
    Gestern habe ich https://www.youtube.com/watch?v=zHLCKpmBeKA gesehen und mich gefragt, warum wir nach fast 30 Jahren immer noch keinen Computerassistenten haben, der uns einen Schritt voraus ist.

    • Zu der Aussage „Es gibt viel Open Source, die persönliche Daten einliest, aber keine Bilder oder Videos“: Lokale Modelle für Bilder werden inzwischen ziemlich gut.
      LLaVA ist ein großes Sprachmodell mit multimodalen Bildfunktionen und läuft sogar auf meinem Laptop ziemlich gut: https://simonwillison.net/2023/Nov/29/llamafile/
      Modelle wie Salesforce BLIP können auch zur Erzeugung von Bildunterschriften genutzt werden, und ich habe dafür ein kleines CLI-Tool gebaut: https://github.com/simonw/blip-caption
    • Genau so etwas bauen wir bei https://software.inc
      Daten über den Nutzer, also Informationen vom Computer und aus dem Internet, werden in einer lokalen Datenbank gesammelt, und dem Modell wird beigebracht, wie es sie nutzt. Das Modell kann lokal oder Cloud-basiert sein, und Anfragen können je nach Datensensibilität oder benötigter Funktion geroutet werden.
      Falls das interessant klingt: Wir stellen auch ein.
    • Selbst ohne AI wäre schon ein Archivierer ein großer Fortschritt, der alle besuchten Webseiten über klassische Suche auffindbar macht.
      Ein erheblicher Teil meiner Suchen besteht darin, etwas wiederzufinden, das ich früher gesehen habe. Oft scheitert das daran, dass die Seite verschwunden ist, in Suchmaschinen niedrig rankt oder wie alte reine-HTTP-Dokumente von Suchoptimierung verdrängt wird.
    • Ich sehe GitHub Copilot als etwas, das genau auf diese Weise funktioniert. Zuerst scannt und indiziert es die gesamte Codebasis samt Abhängigkeiten, und beim Autocomplete nutzt es den Codekontext stark; dadurch wird Copilot nützlich.
      Ich stimme zu, dass das Modell zu unseren Daten kommen sollte. Wenn eine Intelligenz wie Copilot vollständig auf dem Gerät laufen und persönliche Spuren wie Nachrichten, Browserverlauf und Webseiteninhalte durchsuchen könnte, wäre das ein Game Changer.
    • Mir schwebt etwas Ehrgeizigeres vor als nur eine Zusammenfassung der heute angesehenen Sites. Man bräuchte ein Modell, das aus Suchverlauf und Verhalten ableitet, wie man Suchanfragen formuliert.
      Die Suchanfragen von Bing Chat wirken, als hätte ein Onkel, dem gerade erklärt wurde, was eine Suchmaschine ist, sie eingegeben. Es sollte fortgeschrittene Operatoren wie site: oder filetype: nutzen, zumindest auch Klammern und AND/OR.
      Man könnte es per Fine-Tuning darauf trainieren, den Suchprozess hervorragender Forscher, juristischer Assistenten und autistischer Jugendlicher nachzuahmen, die die Ellis-Island-Geschichten ihres Großvaters sofort fact-checken und Ankunftsunterlagen sowie Nachweise für die Einbürgerung in Chicago finden.

  • Gute Idee. Mozilla bekommt wegen des schlechten Betriebs von Firefox und politischer Belehrungen zu Recht viel Kritik, aber ich glaube, dass sie immer noch in der Lage sind, privacyfreundliche und nutzerfreundliche Technologie zu bauen.
    Ich nutze den in Firefox eingebauten Offline-Übersetzer häufig, und er wirkt wie Magie. Ich hätte nicht gedacht, dass so etwas lokal ohne Serverfarm-Hardware laufen kann.
    Ich hoffe, dieses Experiment wird genauso.

  • Zu meiner Art, den Browser zu nutzen, passt das nicht besonders gut. Ich möchte nicht mit meinem Browserverlauf „chatten“, sondern einfach, dass der Browser im Betriebssystem den Inhalt von Lesezeichen indiziert, damit ich die tatsächlichen Seiteninhalte durchsuchen kann.
    Ich glaube, dass die Feedback-Schleife, die man mit ChatGPT bekommt, immer deutlich besser sein wird als ein lokales GPT-Äquivalent.
    Aber ich setze häufig Lesezeichen für Seiten, die wichtige Informationen enthalten und die ich später mehr als einmal erneut ansehen werde. Deshalb habe ich angefangen, eine Lösung zu bauen, die Lesezeichen im lokalen Browserspeicher crawlt, die jeweiligen Seiten herunterlädt und sie dem Suchindex des Betriebssystems hinzufügt.
    Das ist seit Jahren ein Kratzen an einer juckenden Stelle.

    • Kleine Datensätze haben bei Volltextsuche leicht eine schlechte Recall-Rate. Wenn AI etwas intelligente Fuzzy-Suche hinzufügt, könnte das Erlebnis mit lokal indizierten Lesezeichen ziemlich viel besser werden.
    • Hat Chrome so etwas nicht gemacht, als es erstmals erschien? Ich habe eine vage Erinnerung, dass es das als Funktion gab.
      Persönlich wäre ich schon zufrieden, wenn Browser ihren Verlauf nicht ständig vergessen würden. Sowohl Firefox als auch Safari bewahren den Verlauf zu kurz auf.
    • Ist das nicht einfach Safari? Vorausgesetzt, man nutzt einen aktuellen Chip.

  • Ich wünschte wirklich, es gäbe eine Möglichkeit, mit Browserverlauf und Seiteninhalten zu „chatten“. Ich frage mich, ob es eine Möglichkeit gibt, besuchte Seiten automatisch zu speichern, damit man sie später verarbeiten kann.
    Ich habe vor mehr als zehn Jahren danach gesucht, aber keine gute Lösung gefunden.

    • WorldBrains Memex (https://github.com/WorldBrain/Memex) scheint genau das zu versprechen. Die Idee fand ich vielversprechend, aber es gab wohl einen Grund, warum ich es am Ende nicht weiter genutzt habe.
    • Recoll und Recoll-WE könnten einen Blick wert sein: https://addons.mozilla.org/en-US/firefox/addon/recoll-we/
    • Zotero könnte ebenfalls infrage kommen, ist aber forschungszentriert und daher eher eine sehr unvollständige Lösung.
    • Rewind.ai ist ziemlich genau für diesen Zweck gedacht. Ich habe es gerade installiert und bin bisher recht zufrieden.

  • Traditionelle Lesezeichen sind gescheitert, weil eine auf Erinnerung basierende Organisation nicht skaliert. Solche Interfaces sind skalierbar und könnten, wenn sie richtig umgesetzt werden, Lesezeichen vollständig ersetzen.
    Wenn man darüber nachdenkt, ließe sich das auch auf den gesamten lokalen Dateibestand anwenden und könnte wie eine bessere Version der alten Idee funktionieren, das „Dateisystem wie eine Datenbank“ zu nutzen. Es passt auch zu bestimmten Wissensdatenbanken, etwa in Form eines auf großen Sprachmodellen basierenden Zotero.

    • Klingt, als hätten wir gerade die moderne Version von Windows Longhorn erfunden.
    • War das nicht die Idee von „Networked Environment for Personal, Ontology-based Management of Unified Knowledge“, also dem semantischen Desktop Nepomuk?
      Wenn man große Sprachmodelle dazu bringen kann, RDF korrekt zu befüllen, und wenn Speicher und Massenspeicher heute so viel größer und schneller sind, könnte es vielleicht funktionieren.
    • Etwas wie Orbit scheint genau zu passen.
      https://withorbit.com/

  • Mozilla scheint da etwas gefunden zu haben.
    Statt Prompts mit riesigen Konzernen hin und her zu schicken und sie jedes Mal noch reicher zu machen, nutzt man kleinere lokale Modelle und respektiert die Privatsphäre deutlich stärker.
    Für ein solches Betriebsmodell wäre ich bereit, Open-Source-Beiträge zu leisten oder sogar Geld beizusteuern.
    Ehrlich gesagt bin ich kein großer Fan der Mozilla-Organisation, aber für Underdogs kann man einfach Sympathie haben.

    • In Zukunft wird ihre KI mit unserer KI sprechen. Denn wir brauchen einen Schutzschild.
    • Das ähnelt dem, was Apple seit einigen Jahren macht. Unklar ist allerdings weiterhin, wie viel davon tatsächlich „KI“ ist. Deshalb ist es naheliegend, dass jemand anders in diese Nische stößt.

  • Für alle Interessierten ist hier das PrivateGPT-Repository: https://github.com/imartinez/privateGPT
    Auf der offiziellen Website scheint es nicht verlinkt zu sein.

  • Vielleicht liegt es daran, dass ich als ehemaliger Praktikant die Firefox-OS-Ära miterlebt habe, aber das fühlt sich für mich wie ein Wiedereinstieg von Mozilla an, um künftig wieder ein eigenes Betriebssystem herauszubringen.
    Es hieß zwar, das Internet sei entstanden, um Menschen zu verbinden, aber all diese schicken Funktionen in den Browser zu packen, ist nicht der optimale Weg.
    Firefox OS bestand im Wesentlichen aus einem kleinen Linux-Kernel, Gecko und HTML5 für das Rendering. Ähnlich wie iOS und iPadOS könnte auch Mozilla ein vergleichbares Betriebssystem für Geräte oder Plattformen anbieten.
    Da sie in den letzten fünf Jahren auch in AR und VR investiert haben, wäre ich nicht überrascht, wenn sie am Ende erneut auf ein weiteres Firefox OS setzen.

  • Wolltet ihr vielleicht auf ein geforktes Repository verlinken?
    https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... führt zu https://github.com/misslivirose/Memory-Cache
    Gemeint war vielleicht https://github.com/Mozilla-Ocho/Memory-Cache?

  • Allein aus dem geteilten Link wurde mir kaum klar, was das bedeuten soll.
    Wenn man auf der offiziellen Seite etwas weiter zurückgeht, steht dort: „MemoryCache ist ein experimentelles Entwicklungsprojekt, um die lokale Desktop-Umgebung in einen On-Device-KI-Agenten zu verwandeln.“
    Es gibt auch einen Beitrag vom November: Introducing Memory Cache
    https://memorycache.ai/developer-blog/2023/11/06/introducing...