RecurseChat – Lokale AI-Chat-App für den täglichen Einsatz

• Lokal zuerst, offline nutzbar: Ohne komplizierte Einrichtung offline mit AI chatten.
• Profi-Suche: Bietet eine schnelle Suchfunktion für Tausende von Nachrichten.
• ChatGPT-Verlauf importieren: Unterhaltungen mit lokaler AI nahtlos fortsetzen.
• Gespräche mit mehreren Modellen: In einer einzigen Chat-Sitzung mit mehreren Modellen sprechen.
• Multimodale Eingabe: Mit dem LLaVA-Modell mit Bildern chatten.
• Sicherheit und Datenschutz: Durch die macOS-App-Sandbox geschützt und für private Unterhaltungen geeignet.
• Anpassbares Erscheinungsbild und AI-Charaktere: Mit eigenen GGUF-Modellen Persönlichkeit und Aussehen der AI anpassen.

Einfach, aber leistungsstark

• Offline mit AI chatten: Ohne technisches Vorwissen mit lokalen LLMs sprechen.
• Multimodaler Chat mit Bildern: Unterstützt vielseitige Gespräche inklusive Bildern.
• ChatGPT-Verlauf importieren und fortsetzen: Frühere Gespräche mit lokaler AI weiterführen.
• Schnelle Profi-Suche: Gewünschte Gesprächsinhalte per Textsuche leicht finden.
• Umfassende Anpassung: Persönlichkeit und Erscheinungsbild der AI frei verändern.

Meinung von GN⁺

• RecurseChat ist eine App, die großen Wert auf den Schutz der Privatsphäre legt und Gespräche mit AI auch offline ermöglicht. Das kann besonders nützlich für Nutzer sein, deren Internetverbindung instabil ist oder für die Datenschutz wichtig ist.
• Die Sicherheit durch die macOS-App-Sandbox kann zusätzliches Vertrauen schaffen, allerdings ist unklar, ob dieses Schutzniveau auch auf anderen Betriebssystemen in gleicher Weise geboten wird.
• Die multimodale Gesprächsfunktion mit Bildern kann ein reichhaltigeres Nutzungserlebnis bieten, bringt aber möglicherweise technische Herausforderungen bei der Genauigkeit der Bilderkennung mit sich.
• Dass Nutzer mit eigenen GGUF-Modellen Persönlichkeit und Erscheinungsbild der AI anpassen können, ist ein großer Vorteil für ein personalisiertes Erlebnis. Um diese erweiterten Funktionen sinnvoll zu nutzen, kann jedoch ein gewisses Maß an technischem Verständnis erforderlich sein.
• Dabei sollten sowohl das technische Niveau der Nutzer als auch ihre Anforderungen an den Datenschutz berücksichtigt werden; außerdem ist es wichtig, Kompatibilität und Zugänglichkeit in unterschiedlichen Nutzungsumgebungen sicherzustellen.

[GN⁺]

Hacker-News-Kommentare

• Dank der erstaunlichen Arbeit von @ggerganov an llama.cpp ist das möglich geworden. Wenn es eine Funktion gibt, die ihr euch in einer idealen lokalen AI-App wünscht, würde ich sie gern hören.

• Full-Text Search. Blitzschnelle Suche über Tausende von Nachrichten.

  • Die natürliche Sprachverarbeitung ist nun so weit entwickelt, dass Ctrl+F neu erfunden wurde.
  • Zur Funktion, Tausende von Nachrichten schnell zu durchsuchen: die Suchfunktion der 90er, modern neu interpretiert.
    • Eine Einschätzung zur Volltextsuche: Die Technologie der natürlichen Sprachverarbeitung hat sich so weit entwickelt, dass sie die bestehende Textsuche grundlegend verbessert.

• Für eine Funktion, die Antworten in lokalen Dokumenten, Lesezeichen, dem Browserverlauf usw. findet, wäre ich durchaus bereit zu zahlen.

• Großartig! Ein paar Punkte:

  • Der Grund, warum die UI von ChatGPT nützlich ist, liegt darin, dass man jeden Teil eines Gesprächs ändern kann, das Gespräch ab diesem Punkt neu generieren kann und alle nachfolgenden Teile gelöscht werden.
  • Der Feedback-Button tut nichts, außer den Fokus auf Chrome zu wechseln.
  • Das LLaVA-Modell kann angeblich keine Bilder generieren, da es ein textbasiertes AI-Modell ist.

• Gut, aber ich sehe keinen Grund, das statt ChatbotUI+Ollama zu verwenden.

  • Abgesehen von den Vorteilen als native MacOS-App sowie den schnellen Import- und Suchfunktionen ist es schwer, ein Alleinstellungsmerkmal zu erkennen.
  • ChatbotUI hat Vorteile wie Cross-Platform, Anpassbarkeit, Datenschutz und Debuggbarkeit.

• Ein paar Fragen:

  • Was verwendet ihr für die Bildgenerierung? Ist das auch lokal möglich (z. B. stable diffusion)? Gibt es eine integrierte Prompt-Erstellung?
  • Ihr sagt, man könne den ChatGPT-Verlauf importieren — kann man auch andere Dokumente importieren?
  • Gibt es einige Features im Stil von "Agenten"? Kann es das Web durchsuchen? Kann es andere APIs verwenden? Kann es selbst Prompts erzeugen?
  • Gibt es ein Plugin-Framework? Ihr sagtet "anpassbar", aber das kann fast alles bedeuten.
  • Welche Lizenz hat es? Wie stellt ihr sicher, dass die Nutzung durch die Benutzer privat bleibt? Wir wissen alle, dass viele "lokale" Apps große Datenmengen nach außen senden.

• Einige Vorschläge

  • Bitte fügt die Systemschriftart (San Francisco) als UI-Option hinzu. SF Mono wäre ebenfalls schön.
  • Für Anfänger braucht es Hilfe bei der Nutzung von Modellen. Ein Einführungsbildschirm, der zeigt, wie man startet, wäre gut.
  • Wie bei den meisten Mac-Apps wäre es schön, wenn Command-comma die Einstellungen öffnet.
  • Wenn man auf Weblinks klickt, wäre es gut, wenn Safari (oder der bevorzugte Browser) geöffnet wird.

• Es wäre auch gut, eine Option hinzuzufügen, um die OpenAI API in derselben Oberfläche zu nutzen.

  • Derzeit verwende ich jan.ai.

• Plant ihr, Online-Modelle zur App hinzuzufügen? Lokale Modelle sind noch nicht auf einem Niveau, das mit Online-Modellen vergleichbar ist.

  • Es wäre schön, in einer einheitlichen Chat-Oberfläche zwischen GPT/Claude/lokalen Modellen wechseln zu können.

• Statt zu sagen: "Mit lokaler AI sprechen", würde es sich wahrscheinlich besser verkaufen, wenn ihr erklärt, was wir durch Gespräche mit lokaler AI erreichen können.

  • Wir brauchen keine Unterhaltung, sondern müssen bestimmte Aufgaben erledigen. Welche Aufgaben sind möglich? (Antwortet nicht mir, sondern schreibt es auf die Landingpage und in den App-Store-Eintrag.)