Sidekick – Open-Source-Local-First-LLM-Chatbot-Anwendung für den Mac

• Liefert Informationen auf Basis der Dateien, Ordner und Websites des Nutzers und funktioniert auch vollständig offline
• Eine installierte Modell-Inferenz-Engine ist integriert; bei Bedarf kann ein OpenAI-kompatibler API-Schlüssel angebunden werden, um auch externe Modelle zu nutzen
• Entwickelt, damit das LLM auf Basis von Kontextinformationen präzisere Antworten geben kann
• Basiert auf llama.cpp

Hauptfunktionen

• Local-First-Chatbot

  • Alle Gespräche finden offline statt, keine Sorge vor Datenabfluss
  • Direkte Informationssuche in Dateien, Ordnern und Websites ohne zusätzliche Installation
  • Nutzbar auch ganz ohne Wissen über GPT-Prompts oder Konfigurationen
  • Läuft dank integrierter Inferenz-Engine schnell auf Apple Silicon

• Expertenbasierte Kontextverwaltung (Expert System)

  • Experten für einzelne Themen können erstellt werden (Computer Science, History usw.)
  • Für jeden Experten lassen sich unbegrenzt viele Materialien hinterlegen (RAG-basiert)
  • Dokumente lassen sich einfach per Drag-and-drop hinzufügen
  • Bei Bedarf kann auch Websuche einbezogen werden, um aktuelle Informationen zu berücksichtigen

• Unterstützung für verschiedene Modelle

  • Verschiedene lokale Inferenzmodelle wie Alibabas QwQ-32B und DeepSeek-R1 können genutzt werden
  • Mit Eingabe eines OpenAI-kompatiblen API-Schlüssels lassen sich externe Modelle aufrufen

• Integrierter Code-Interpreter

  • Vom Modell geschriebener Code kann direkt ausgeführt und das Ergebnis übernommen werden
  • Höhere Genauigkeit bei mathematischen und logikbasierten Fragen

• Canvas

  • Websites, Code und Text können visuell erstellt und bearbeitet werden
  • Nach Textauswahl können gezielte Bearbeitungen beim LLM angefordert werden

• Bilderzeugung

  • Automatische Bilderzeugung über Text-Prompts
  • Automatische Erkennung allein anhand des Prompts ohne separaten Moduswechsel
  • Läuft auf Basis von CoreML unter macOS 15.2 oder neuer

• Inline-Schreibhilfe

  • Mit Command + Control + I ist Inline-Unterstützung in jeder App möglich
  • In Microsoft Word können Aufgabenfragen eingegeben und automatisch beantwortet werden

• Erweitertes Markdown-Rendering

  • Unterstützung für das Rendern von LaTeX-Formeln
  • Datenvisualisierung: automatische Diagrammerstellung auf Tabellenbasis (Balkendiagramm, Liniendiagramm, Kreisdiagramm usw.)
  • Unterstützung für Code-Highlighting sowie Kopieren/Exportieren von Code

• Toolbox-Werkzeugsammlung

  • Detector: erkennt KI-generierte Inhalte und bietet Hinweise zur Überarbeitung
  • Diagrammer: erstellt komplexe Beziehungsdiagramme per Prompt
  • Slide Studio: erstellt mit einer Prompt-Zeile Folien und exportiert sie als PDF/PowerPoint

• Leistungs- und Inferenzoptimierung

  • llama.cpp-basierte Inferenz sorgt auf Apple Silicon für sehr hohe Geschwindigkeit
  • Mit Speculative decoding lässt sich die Geschwindigkeit weiter erhöhen
  • Bietet längere Akkulaufzeit auf dem MacBook und Funktionen zur Verteilung von Rechenlast

Installation und Anforderungen

• Mac + Apple Silicon (M1 oder neuer)
• Mindestens 8 GB RAM
• .dmg von der Seite Releases herunterladen und ausführen

Entwicklungsziele

• Persönlicher lokaler KI-Assistent, den jeder leicht nutzen kann
• Vollständig offline arbeitendes System, das auch ohne Internetverbindung funktioniert
• Erkennt Ordner, Dateien und Websites sofort ohne Konfiguration
• Schutz der Privatsphäre, keine Nachverfolgung von Gesprächsinhalten
• Open-Source-Projekt für Transparenz und Erweiterbarkeit

[galadbran]

Das sollte ich installieren und ausprobieren.