Ein hackbarer KI-Assistent mit einer einzelnen SQLite-Tabelle und einer Handvoll Cron-Jobs

• Stevens ist ein einfacher KI-Assistent, der mit einer SQLite-Tabelle und Cron-Jobs aufgebaut wurde
• Stevens liefert dem Nutzer jeden Morgen Informationen wie Termine, Wetter und Post
• Die Architektur von Stevens wird auf der Plattform Val.town gehostet und unterstützt SQLite-Speicher, die Verarbeitung von HTTP-Anfragen sowie das Senden und Empfangen von E-Mails
• Stevens sammelt Informationen aus verschiedenen Datenquellen und liefert dem Nutzer dadurch personalisierte Informationen
• Stevens ist ein privates Projekt, und Nutzer können den Code forken, um ihre eigenen KI-Tools zu bauen

---

Stevens: Ein hackbarer KI-Assistent

• Stevens ist ein KI-Assistent, dessen Name vom Butler aus Ishiguros Roman "Remains of the Day" stammt
• Jeden Morgen liefert er dem Nutzer über Telegram Informationen wie Termine, Wetter und Post
• Nutzer können über einen Telegram-Chat mit Stevens kommunizieren

Die Architektur von Stevens

• Stevens wird auf der Plattform Val.town gehostet und verwendet eine SQLite-Tabelle und Cron-Jobs
• Das "Notizbuch" von Stevens ist eine SQLite-Tabelle, in der Termine und Hintergrundinformationen gespeichert werden
• Über Cron-Jobs wird die Claude API aufgerufen, um das morgendliche Briefing zu verfassen und per Telegram zu senden

Methoden zur Datenerfassung

• Termindaten werden über die Google Calendar API erfasst
• Über eine Wetter-API wird die lokale Wettervorhersage abgefragt
• Postinformationen werden über USPS Informed Delivery per OCR verarbeitet
• Über Telegram- und E-Mail-Nachrichten werden Log-Einträge hinzugefügt
• Jede Woche wird ein "interessanter Fakt" hinzugefügt, um den täglichen Updates eine besondere Note zu geben

Rückblick auf das Projekt

• Für persönliche KI-Tools ist der Zugang zu verschiedenen Informationsquellen wichtig
• Mit "Memory" kann man einfach anfangen und es bei Bedarf erweitern
• Stevens wurde so eingestellt, dass er wie ein formeller Butler spricht, um den Nutzer zu unterhalten

Selbst ausprobieren

• Stevens ist kein kommerzielles Produkt, sondern ein privates Projekt
• Nutzer können den Code forken, um ihre eigenen nützlichen Tools zu bauen
• Mit der Val Town CLI ist eine Synchronisierung mit dem lokalen Dateisystem möglich

[GN⁺]

Hacker-News-Kommentar

• Ich weiß nicht, ob es an der Nützlichkeit dieser Funktion liegt oder an Formulierungen wie „britischer Gentleman-Butler“

  • Ich frage mich, warum man so etwas in einem Blog eines einzelnen Ingenieurs liest und nicht bei einer Produkteinführung von Apple oder Google
  • Es ist enttäuschend, dass diese beiden Unternehmen AI-Technologie nicht auf Bereiche anwenden, die als „gelöste Probleme“ gelten, wie Zusammenfassungen oder Frage-Antwort
  • Wenn es im Zusammenhang mit AI eine Chance gibt, könnte sie eine Bedrohung für diese beiden monopolartigen Unternehmen darstellen

• Ich habe darüber nachgedacht, wie es wäre, wenn mein Utility-Programm auf den Mailbox zugreifen könnte

  • Es gibt ein kleines Utility-Programm, das das Wetter prüft oder Systembefehle ausführt
  • Wenn es einen Mailbox gäbe, könnte man Informationen senden, und die AI könnte sie analysieren und E-Mails verschicken oder neue Nachrichten erzeugen
  • Man könnte es nützlich einsetzen, indem E-Mails analysiert, dem internen Speicher hinzugefügt und die Nachrichten anschließend gelöscht werden

• Ich denke über Ideen für ein ähnliches Open-Source-Projekt nach

  • Ich möchte das Backend mit einem LLM aufbauen, auf das Nutzer zugreifen können
  • Ich frage mich, ob man es mit einem Touchscreen verbinden und als Gerät ähnlich wie Alexa verwenden könnte
  • Ich möchte die Integrationen mit Kalender, Wetter, Homebridge, Spotify usw. erweiterbar machen
  • Ich kann dem Projekt derzeit nicht viel Zeit widmen, würde mich aber gern mit Leuten zusammentun, die in diese Richtung gehen

• Ich möchte praktische AI-Hacks sehen

  • Ich bevorzuge praktische Integrationen mit bestehenden Datenquellen statt komplexer Strukturen oder Vector-DBs

• Ich experimentiere mit einer Methode, um den „Sweet Spot der Kontext-Tokens“ zu lösen

  • Das LLM arbeitet mit der Datenbank zusammen, um Informationen zu speichern und zusammenzufassen
  • Es kann Zusammenfassungsdokumente erzeugen, um den Kontext aufrechtzuerhalten, während wichtige Details über die Datenbank ergänzt werden

• Ich dachte, dass eine sqlite-DB für die Vorhersage des nächsten Tokens verwendet wird

  • Andere Leute verwenden Claude

• Ich habe mit mcp.run und Tasks etwas Ähnliches gebaut

  • Ich habe den Prompt so verändert, dass geprüft wird, ob eine Unterhaltung existiert, und die Ergebnisse gespeichert werden
  • Man kann dem Registry Servlets hinzufügen, um die Fähigkeiten des Bots zu erweitern

• Stevens sprach anfangs in einem trockenen Ton wie ein Apple- oder Google-Produkt, aber es hat mehr Spaß gemacht, ihn wie einen formellen Butler sprechen zu lassen

  • Einer meiner größten Kritikpunkte in der Welt persönlicher Assistenten ist, dass LLMs viel zu viel reden
  • Bis ich reich bin und Zeit habe, mich mit einem Sprachassistenten anzufreunden, brauche ich kein J.A.R.V.I.S., sondern LCARS

• Solche Tools werden in den kommenden Jahren ein fruchtbarer Boden für Hacker sein

  • Große Teile des Stacks sind bereits als OSS-Infrastruktur commodifiziert, und gehostete Inferenz ist schon günstig und einfach
  • Es gibt Sicherheitsprobleme dabei, Agenten an E-Mail und Kalender anzubinden, aber viele Menschen werden es vorziehen, den gesamten Stack selbst zu kontrollieren, statt Apple oder Google die Kontrolle zu überlassen

• Ich frage mich, ob schon einmal über Memory-Pruning oder Zusammenfassungen nachgedacht wurde

  • Statt alte Einträge zu löschen, könnte man LRU verwenden oder Antworten zusammenfassen und in derselben Tabelle speichern
  • Die Rohdaten verschwinden zwar, aber eine komprimierte Version bleibt erhalten, sodass der Speicher leicht bleibt und der Kontext dennoch bewahrt wird