Sherlock – die KI-Notiz-App, die genau weiß, was du heute getan hast

• Viele von euch haben wahrscheinlich schon AI-Meeting-Notetaker wie Granola oder Tiro ausprobiert. In der tatsächlichen Arbeit macht die Zeit außerhalb von Meetings jedoch ebenfalls einen großen Anteil aus. Web-Browsing, E-Mails, Slack, Notion, KakaoTalk usw. – die wichtigsten Arbeitskontexte, die dort entstehen, gehen bisher weiterhin verloren.

• Deshalb haben wir Sherlock entwickelt. Sherlock ist eine KI-Notiz-App, die den Computerbildschirm der Nutzer in Echtzeit liest, Handlungen und Arbeitsabläufe analysiert und daraus automatisch Notizen zu Dingen erstellt, die wichtig sind oder an die man sich erinnern sollte. Einfach gesagt ist es „Granola für alle Arbeit außerhalb von Meetings“.

• Statt externe Programmkonten oder bestimmte Integrationen zu verwenden, liest Sherlock im wörtlichen Sinn den Bildschirm des Nutzers selbst. Deshalb versteht und verfolgt es direkt den Arbeitskontext, ganz gleich, welche Tools jemand verwendet – einfach nach der Installation.

• Einige interessante Use Cases, die wir während der Beta-Phase entdeckt haben, sind die folgenden. Für diese Personen dürfte es besonders spannend sein:

  • Content Creator: Wenn Material für Texte, Videos oder Karten-News-Formate benötigt wird, ist Sherlock ziemlich gut darin, wieder auf Texte, Materialien oder Inspirationen hinzuweisen, die man vor 1–2 Wochen gesehen hat.
  • Projekt- / Produktmanager: Einer unserer besonders engagierten Nutzer arbeitet als Projektmanager bei einer NGO in den USA. Da er neben Meetings viele laufende Projekte hat, sind Kontext und wichtige Inhalte an vielen Stellen verstreut. Am meisten gefiel ihm, dass sich all das auf einmal gesammelt überblicken lässt.
  • Teams mit vielen Daily Stand-ups usw.: Besonders gute Erfahrungen machen laut unserem Feedback Menschen, die häufig den Bedarf haben, ihre erledigte Arbeit über Slack usw. strukturiert mit Teammitgliedern oder Vorgesetzten zu teilen bzw. zu berichten.

• Wenn ihr neugierig seid, ladet es noch heute herunter und probiert es aus! Derzeit ist es für macOS verfügbar, und alle Funktionen sind kostenlos freigeschaltet.

[toida]

Es sieht auch nützlich aus, um die im Laufe eines Arbeitstags erledigten Aufgaben im Unternehmen zu ordnen.

Was mich zunächst interessiert: Ich frage mich, ob dieses Programm im Hintergrund nicht zu viel Arbeitsspeicher belegt und ob es nicht zu viele Input-Token verbraucht. Was denken Sie über diesen Punkt?

[duckduckhero]

Vielen Dank für das gute Feedback!

Aktuell setzen wir zunächst nicht auf Bildschirmaufzeichnung, sondern auf Methoden wie das Extrahieren des auf dem Bildschirm sichtbaren Textes bzw. — falls nötig — das Aufnehmen von Screenshots und anschließende Extrahieren des Textes per OCR. Daher gehen wir derzeit davon aus, dass es bei CPU, Speicher und Geschwindigkeit keine allzu großen Probleme gibt ... Auch beim Speicherplatz erwarten wir keine übermäßige Belegung, da nur reiner Text lokal in sqlite gespeichert wird. Natürlich ist eine kontinuierliche Optimierung trotzdem notwendig!

Input-Token werden selbst dann stark verbraucht, wenn nur reiner Text eingegeben wird ... Deshalb versuchen wir aktuell, die Kosten möglichst zu senken, indem wir mehrere günstige Modelle passend kombinieren. Ich denke, da ist noch weitere Forschung nötig, haha