Chrome-Erweiterung zum lokalen Ausführen generativer KI im Browser
(github.com/tantara)Projektbeschreibung
Dies ist ein Chrome-Erweiterungsprojekt für Transformers.js, das generative KI-Modelle mit JavaScript ausführt.
Es gibt viele Möglichkeiten, generative KI-Modelle lokal auszuführen, etwa mit Ollama oder llama.cpp, aber der Einrichtungsprozess ist umständlich und es ist lästig, ständig zwischen Fenstern zu wechseln. Um dieses Problem zu lösen, wurde es mit Transformers.js so umgesetzt, dass es direkt im Sidepanel der Chrome-Erweiterung ausgeführt werden kann.
Einer der Vorteile der lokalen Ausführung ist, dass sie auch ohne Internetverbindung genutzt werden kann. Das war besonders nützlich für einfache Arbeitsaufgaben in Umgebungen mit schlechter Verbindung, etwa im Flugzeug oder auf dem Campingplatz.
Unterstützte Modelle
Da Transformers.js verwendet wird, können zwar fast alle Modelle von Hugging Face ausgeführt werden, derzeit werden jedoch nur die folgenden Modelle unterstützt.
- LLM: Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
- Reasoning: DeepSeek R1 (auf einem MacBook mit M1 erzeugt DeepSeek R1 (1.5B) 30 Token/Sekunde)
- Multimodales LLM: Janus
- Speech-to-Text: Whisper
Zusätzliche Funktionen
Die Funktionen Summarize und Rewrite wurden ebenfalls hinzugefügt. Wenn Sie im Browser sichtbaren Text markieren, per Rechtsklick die Erweiterung starten, kann dieser Text zusammengefasst (Summarize) oder in eine LLM-Ausgabe umgeschrieben werden (Rewrite). Das Demo-Video unten hilft beim Verständnis (Abschnitt 1:10 bis 1:25).
Demo-Video: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
Erweiterung ausführen
Sie können das GitHub-Projekt selbst bauen oder es aus dem Chrome Web Store herunterladen.
Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…
2 Kommentare
Gut gelesen.
Ich denke, es sollte klar kenntlich gemacht werden, dass es sich nicht um Deepseek R1, sondern um ein destilliertes Modell handelt. Technisch sind das zwei völlig unterschiedliche Modelle.
Vielen Dank für Ihren Hinweis. Da das getestete 1,5B-Modell ein destilliertes Modell war, scheint „distilled“ die präzisere Bezeichnung zu sein. Da sich der Beitrag offenbar nicht bearbeiten lässt, werde ich das im nächsten Update berücksichtigen.