HN-Veröffentlichung: Aufbau einer nichtlinearen Benutzeroberfläche für ChatGPT

Einführung in Grafychat

• Grafychat ist ein datenschutzfreundliches, canvasbasiertes visuelles Notebook für ChatGPT und andere dialogorientierte KI
• Funktioniert mit OpenAI, Google AI und lokalen Ollama-Modellen
• API-Schlüssel einbringen und direkt mit dem Chatten beginnen

Hauptfunktionen von Grafychat

Endlose Canvas

• Chats lassen sich visuell organisieren
• Punkte können verbunden werden, um Gespräche zu verwalten
• Es können beliebig viele Canvas erstellt werden

Datenschutzfreundlich

• Alles wird auf dem Gerät des Nutzers gespeichert
• Daten verlassen das Gerät nur bei nicht-lokalen LLM-Anfragen
• Keine Registrierung und kein Konto erforderlich

Kontrolle über Ergebnisse

• Benutzerdefinierte Anweisungen lassen sich einfach anwenden
• Modelle können in Echtzeit gewechselt werden
• Modellparameter lassen sich anpassen

Leistungsstarke Suche

• Volltextsuche über alle Daten hinweg
• Mit hoher Präzision filterbar
• Ergebnisse lassen sich leicht durchsuchen

Erstklassige OpenAI-Unterstützung

• Unterstützung für alle ChatGPT-Modelle einschließlich GPT-4
• Unterstützung für Spracheingabe/Diktat
• Unterstützung für Sprachgenerierung/Narration
• Unterstützung für Bildgenerierung
• Kein aktives ChatGPT-Abonnement erforderlich
• Nutzung des eigenen OpenAI-API-Schlüssels möglich

Kostenlos nutzbare lokale Modelle

• Ollama-Unterstützung (Mac, Windows, Linux)
• Wachsender Katalog an Open-Source-Modellen
• Darunter leistungsstarke Modelle wie Llama 3
• Vollständig kostenlos nutzbar
• Es genügt, die Ollama-App auf dem Gerät auszuführen und einzurichten

Anpassbare Prompt-Bibliothek

• App-weit nutzbar
• Prompts lassen sich einfach speichern, bearbeiten und wiederverwenden

Jeder Chat ist ein Markdown-Editor

• Alle Chats können bearbeitet werden
• Hält Daten sauber organisiert
• Export nach Markdown über den Inspector möglich

Klassische Chat-Ansicht mit Inspector

• Chats können im Inspector gestartet oder fortgesetzt werden
• Aktuelle Unterhaltung kann ausgewählt und geprüft werden
• Export nach Markdown möglich

Anpassbares Aussehen und Gefühl

• Farben können zu Flows hinzugefügt werden
• Bestimmte Bereiche können ein- oder ausgeblendet werden
• Teile einer Unterhaltung können beschriftet werden

Unterstützung für mehrere KI-Anbieter

• OpenAI
• Google AI
• Ollama mit Llama 3
• und die Liste wächst weiter

BYOAK – eigenen API-Schlüssel mitbringen

• Datenimport/-export per JSON-Datei
• Tastaturkürzel
• Unterstützung für Code-Hervorhebung
• Chats anheften, farblich taggen
• Benutzerdefinierte Hintergründe
• Dark Mode
• und mehr

Preis- und Lizenzinformationen

• Lizenzbesitz per Einmalkauf
• Jede Lizenz enthält 5 Aktivierungen und hat kein Ablaufdatum
• Standard ($39): alle Einschränkungen aufgehoben, alle Funktionen freigeschaltet
• Extended ($59): alle Funktionen von Standard + Self-Hosting-Paket, Desktop-App erscheint später
• Premium ($79): alle Funktionen von Extended + Premium-Support, Desktop-App erscheint später

FAQ-Zusammenfassung

• Grafychat ist ein datenschutzfreundliches, canvasbasiertes visuelles Notebook für ChatGPT und andere dialogorientierte KI
• Es ist keine abonnementsbasierte App; die Lizenz gehört einem nach einmaligem Kauf
• 5 Aktivierungen bedeuten, dass der Lizenzschlüssel auf 5 verschiedenen Geräten verwendet werden kann
• Unterstützt mehrere Chatbot-Anbieter wie OpenAI, Google AI und lokale Ollama-Modelle
• Keine Registrierung und kein OpenAI-Abonnement erforderlich
• Die Desktop-App ist noch nicht veröffentlicht, befindet sich aber in Entwicklung
• Grafychat.com speichert keine Nutzerdaten
• Zur Rückerstattungsrichtlinie ist eine separate Anfrage erforderlich

Meinung von GN⁺

• Grafychat wirkt wie ein Tool, mit dem sich verschiedene dialogorientierte KI-Modelle wie ChatGPT oder GPT-4 visuell verwalten lassen. Besonders die Möglichkeit, Gesprächsinhalte in Canvas-Form zu strukturieren und zu verknüpfen, scheint nützlich zu sein, um Unterhaltungen systematisch zu organisieren.
• Ein weiterer Vorteil ist der Fokus auf Datenschutz, etwa durch die lokale Speicherung von Nutzerdaten und die direkte Eingabe des API-Schlüssels. Allerdings sollte beachtet werden, dass bei nicht-lokalen LLM-Anfragen Daten nach außen übertragen werden.
• Die Unterstützung des Open-Source-Modells Ollama, das kostenlos genutzt werden kann, sowie Funktionen wie die Prompt-Bibliothek zum Speichern und Wiederverwenden häufig genutzter Prompts erhöhen die Praxistauglichkeit zusätzlich.
• Andererseits könnte das Lizenzmodell statt eines Abonnements preislich etwas belastend wirken. Selbst die Standard-Stufe kostet mit $39 keinen geringen Betrag. Zwar gibt es viele Funktionen und einen deutlichen Fokus auf Datenschutz, aber angesichts der kostenlosen Nutzung von Open-Source-Modellen ist die Wettbewerbsfähigkeit beim Preis fraglich.
• Zu bedenken ist außerdem, dass es noch keine Desktop-App gibt und der Dienst derzeit nur webbasiert angeboten wird. Als noch junger Service bestehen zudem Unsicherheiten hinsichtlich Stabilität und langfristiger Fortführung.

[GN⁺]

Hacker-News-Kommentare

• Wegen einer einzigen CSS-Zeile auf der Website ruckelt mein Laptop extrem.
  Ursache ist backdrop-filter: blur(0.1875rem), wie er etwa für das Modal mit dem YouTube-Video-Popup verwendet wird.

  • Ich bin Frontend-Entwickler und setze diesen Effekt genau aus diesem Grund niemals ein.
    Selbst auf leistungsstarken Laptops ist der Stromverbrauch viel zu hoch, und die Lüfter drehen stark auf.
  • Ich frage mich, warum Blur-Effekte immer so viel Strom verbrauchen.
    Ob es keine Möglichkeit gibt, die GPU dafür zu nutzen, oder ob es ein ganz anderes Problem ist, weiß ich nicht.

• Ich hatte früher einmal über eine ähnliche Oberfläche nachgedacht, nur mit Baumvisualisierung und ohne Drag-Funktion.
  Normalerweise behandelt man im selben Gespräch Nebenthemen, bearbeitet später aber die frühere Nachricht, an der der Seitenzweig begann, damit die KI nicht durcheinanderkommt.
  OpenAI verwirft diesen Baum der Seitenzweige jedoch; daher wäre es schön, wenn es den Baum der erkundeten Nebenthemen anzeigen würde, ohne dass man ihn manuell sortieren muss.

  • Bewahrt ChatGPT nicht den gesamten Baum auf? Als ich zuletzt nachgesehen habe, konnte man an einem bestimmten Knoten vor- und zurückwechseln.

• Ein interessanter Ansatz. Er scheint einen typischen Workflow für Zwischenschritte abzudecken.
  Auch wenn man für das Endergebnis eine lineare Form bevorzugt, läuft die eigentliche Arbeit oft so ab, dass man zunächst eine Hierarchie ausarbeitet.
  Ich nutze seit Jahren Gingko https://gingkowriter.com/; es erlaubt unbegrenztes schrittweises Ausklappen und lässt sich trotzdem leicht zu einer linearen Struktur zusammenfalten, wodurch die Last sinkt, eine Problemstruktur zu ordnen.
  In diesem Fall frage ich mich, ob so viele Kontexte wie Blätter im Baum gehalten werden, ob die Chats voneinander getrennt sind und wie man von einer endlosen, unstrukturierten Canvas zu einem geordneten Endergebnis übergeht.

  • Gute Frage.
    Kontext ist letztlich eine Art der Gruppierung, daher hängt es von der Situation ab, ob man so viele Kontexte wie Blätter hält.
    Den Übergang von der unstrukturierten Canvas zu einem geordneten Ergebnis sehe ich als RAG in Kombination mit In-App-Befehlen, und ich arbeite an einer lokalen RAG-Lösung.
    Das ist noch in einem frühen Stadium, aber vielversprechend; im Grunde spricht man mit allen Daten und wendet darauf verschiedene Befehle an.
  • Ich verstehe nicht, warum man überhaupt in ein geordnetes Endergebnis überführen muss.
    Aus Sicht eines potenziellen Nutzers, der darüber nachgedacht hatte, ein ähnliches Tool selbst zu bauen, ist der Baum – oder genauer: der gerichtete Graph selbst – das gewünschte Endergebnis.
  • Etwas am Thema vorbei, aber ich glaube, es gab für den Mac eine eigenständige Software ähnlich wie Gingko.
    Beim Nachsehen scheint es die frühere Desktop-App-Version von Gingko zu sein; sie ist noch unter https://github.com/gingko/client/releases erhältlich.
  • Abo-Preise für Software zu verlangen, die vollständig auf meinem eigenen Rechner bleiben muss, fällt mir schwer zu akzeptieren.

• Mit Obsidian und Plugins wie https://github.com/AndreBaltazar8/obsidian-canvas-conversati... kann man so etwas leicht selbst bauen.

  • Das ist ähnlich wie damals, als ich Dropbox durch ein paar Skripte und sftp ersetzt habe.
  • In einem Kommentar weiter unten wurden noch mehr kostenlose Plugins für Obsidian Canvas erwähnt: https://news.ycombinator.com/item?id=40301465
  • „Leicht“ gilt nur für Techniker, nicht für normale Nutzer.

• Die Demo wirkt interessant, aber ich glaube, ich wäre schnell müde davon, Knoten herumzuziehen und die Knoten zu suchen, die mich interessieren.
  Ich frage mich, ob es eine Suchfunktion gibt.
  Noch interessanter wäre es, wenn die KI agentenartig eine Graph-Ansicht erstellen würde oder zumindest Folgefragen vorschlägt bzw. hervorhebt und diese automatisch im Graphen organisiert werden.

  • Die Suche ist hier eine meiner Lieblingsfunktionen. Probier das Tastenkürzel / aus.
  • Persönlich finde ich es wertvoll, Zeit ins Ordnen und Ziehen zu investieren.
    Vielleicht liegt das daran, dass ich eher visuell denke.

• Mein einziges Feedback ist, dass ich Closed-Source-KI-Produkten misstraue und sie vermutlich nicht kaufen würde.
  Trotzdem finde ich es erfreulich und danke dafür, dass ihr dem Abo-Modell-Trend ausgewichen seid.
  Ich wäre bereit zu zahlen, wenn es als Open Source veröffentlicht würde, sodass klar ist, dass keine Telemetrie gesendet wird, und ihr Supportkosten berechnet.
  Allerdings könnte ich da auch ein Sonderfall sein, also bitte mit Vorsicht genießen.
  Die Idee ist großartig, und wenn man sich konzentriert, ließe sich meiner Meinung nach an einem oder zwei Wochenendtagen ein MVP bauen.
  Natürlich könnten die ausgefallenen Features, die mich persönlich nicht interessieren, in der Umsetzung länger dauern.

  • Könnte eine Option für Self-Hosting eine praktische Lösung sein?
    https://www.grafychat.com/d/docs/selfhost
    Allerdings wohl nur unter der Voraussetzung, dass der Code nicht obfuskiert ist.
  • Es wäre schön, wenn es eine Methodik wie Open-Build für Projekte gäbe, die ihren Source Code nicht offenlegen möchten, aber bereit sind, die nötigen Audits für den Build durchführen zu lassen.

• Es wäre schön, wenn OpenAI oder Anthropic solche Funktionen auch in ihrer UI anbieten würden.
  Eigentlich bräuchte es nur ein simples „create a new chat from here“.
  Das Produkt ist cool und gut gemacht, aber der Preis ist für mich persönlich ein Hindernis.

  • Ich ertappe mich dabei, Software-Kaufentscheidungen mit den Preisen auf der Drive-thru-Speisekarte beim McDonald's um die Ecke zu vergleichen.
  • Drittanbieter-Clients unterstützen das.
    Zum Beispiel gefällt mir die Funktion „Fork from this message“ in MindMac.
  • Wenn man eine frühere Frage bearbeitet, erreicht man dieses Ziel schon ziemlich gut.
    Auch die bestehende UI bewahrt alle früheren Bearbeitungen als Revisionsbaum auf.

• Die Landingpage ist gut und erklärt das Produkt ausreichend.
  Ich hatte mir früher einmal etwas Ähnliches gewünscht, daher gefällt mir auch dieses Konzept.

• In der geteilten Demo sieht man, wie aus dem ursprünglichen Eltern-Chat ein Kind-Chat erstellt wird.
  Ich frage mich, ob ihr auch ausprobiert habt, zwei Kind-Chats zu verbinden bzw. zusammenzuführen, um daraus den nächsten Kind-Chat zu erstellen, oder von einem früheren Kind-Chat aus erneut einen Kind-Chat zu erzeugen.

  • Es wäre schön, einen Knoten zu haben, der einen Ordner mit JSON-, TXT- und CSV-Dateien lädt, sie einzeln durchschleust und die Ergebnisse in einem anderen Ordner sammelt.
    Also etwas wie eine LLM-Pipeline oder ein Prompt-Editor.

• Als Zusatzfunktion, die sich gut in manche Frontends integrieren ließe, habe ich einmal einen Find-and-Replace-Key-Value-Store gebaut, der helfen soll, das Durchsickern sensibler Informationen zu verhindern.
  Wenn man IPs, Domains und Subdomains statt interner Domains durch Dummy-Domains wie something.contoso.com ersetzen und an ChatGPT senden könnte, wäre das eine Funktion, für die ich zahlen würde.
  Ich habe das zwar in Python implementiert, aber als Zusatzfunktion an einem separaten Frontend ist es ziemlich grob.