rem (Remember Everything) – Open Source, mit dem sich auf Apple Silicon alles aufzeichnen und durchsuchen lässt

• Zeichnet alle Aktivitäten auf dem Computerbildschirm auf (macht alle 2 Sekunden einen Screenshot)
• In der Timeline-Ansicht kann durch Scrollen nach links/rechts in der Zeit navigiert werden
  • Wenn Live Text Text erkennt, kann dieser ausgewählt werden
• Durch Suche nach bestimmten Wörtern lässt sich ein Bildschirm finden; der gesamte per OCR erkannte Inhalt dieses Bildschirms kann angezeigt oder der Text für weitere Verarbeitung an ChatGPT usw. gesendet werden
• Wurde nur auf Apple Silicon getestet, Releases gibt es ebenfalls nur für Apple Silicon
• Sehr frühe Version: in wenigen Tagen über die Feiertage geschrieben, Anfänger in Swift

Erste Schritte

• Entweder selbst bauen oder ein Release herunterladen und anschließend xattr -c rem.app ausführen, damit macOS die App freigibt
• Nach dem Start der App auf "Start Remembering" klicken und den Zugriff auf "Screen Recording" gewähren
• Mit "Open timeline" oder "Cmd + Scroll Up" die Timeline-Ansicht öffnen
• In der Timeline nach links oder rechts scrollen, um sich durch die Zeit zu bewegen
• Auf "Search" klicken, um die Suchansicht zu öffnen, und in der Timeline auf ein Thumbnail klicken, um zu diesem Zeitpunkt zu springen
• In der Timeline Live Text aktivieren, um Text auswählen zu können
• Auf "Copy Recent Context" klicken, um zuletzt Gesehenes als Prompt zur Interaktion mit einem LLM zu kopieren
• Mit "Purge All Data" können alle Daten gelöscht werden

Aktuell unterstützte Funktionen:

• In die Vergangenheit zurückgehen (Vollbild-Scrubber für alles, was man gesehen hat)
• Text aus der Vergangenheit kopieren
• Alles durchsuchen, was man gesehen hat
• Kürzlich gesehenen Kontext einfach für die Interaktion mit einem LLM erfassen

Gewünschte zusätzliche Funktionen:

• Natürlichsprachliche Suche/Agenten-Interaktion durch lokale Updates von Vektor-Embeddings
• Neue Ansätze für Vektordatenbanken erkunden
• Multi-Monitor-Unterstützung

[GN⁺]

Hacker-News-Kommentare

• Zusammenfassung des ersten Kommentars:

  • Dieses Tool sieht großartig aus. Es erinnert mich daran, wie ich neulich Speicherplatz freiräumen wollte und dabei eine 9-stündige Bildschirmaufnahme von vor fast einem Jahr entdeckt habe. Ich muss die Aufnahme versehentlich eingeschaltet gelassen haben. Sie schnell zu scrubben und das Ganze in wenigen Minuten anzusehen, war eine faszinierende Erfahrung, die mir einen Einblick in meinen damaligen Denkprozess gab. Ich konnte sehen, wie ich online etwas recherchiert habe, und das war lehrreich und nützlich, fast so, als würde man sich ein Sportspiel noch einmal ansehen. Auch die Details von damals noch einmal zu sehen, hat etwas verändert. Ich habe ein Tool namens "DownloadNet" gebaut, das jede besuchte Seite offline speichert und vollständig indiziert. Man kann es auch so einstellen, dass nur mit Lesezeichen versehene Seiten gespeichert werden. Das Tool ist Open Source, also schaut es euch gern an: DownloadNet GitHub-Link
  • Es ist erstaunlich, Text aus gespeicherten Videos kopieren zu können.

• Zusammenfassung des zweiten Kommentars:

  • Früher habe ich ein Utility namens TimeSnapper Classic verwendet, das in festen Abständen Screenshots machte. Aber die Screenshots begannen, die Festplatte zu füllen, und die meisten sahen fast identisch aus. Ich dachte, ich müsste einen Codec entwickeln, der für Bildsequenzen optimiert ist, und merkte schließlich, dass ich im Grunde einen GIF-/Video-Codec neu erfunden hatte. Also schrieb ich ein Skript, das mit ImageMagick Zeitstempel in die Bilder einfügt und sie dann mit ffmpeg in Video umwandelt. Dadurch wurde die Dateigröße um 99,9 % reduziert.

• Zusammenfassung des dritten Kommentars:

  • Vor langer Zeit habe ich an einem Projekt gearbeitet, das alle paar Sekunden Screenshots machte und automatisch Informationen daraus extrahierte. Ich habe eine PNG-DB gebaut, die PNG-Bilder in mehrere Blöcke aufteilt und jeden Block in einer Datenbank speichert. Identische Blöcke werden nur einmal gespeichert, und eine Hashtabelle ermöglicht eine schnelle Suche. Mit dieser PNG-DB habe ich eine Kompression von etwa 400–500 % erreicht. PNG DB GitHub-Link Das Skript zur Analyse der Screenshots war am Ende jedoch nicht besonders erfolgreich. screenshooting GitHub-Link Diese Erfahrung führte zu einem anderen Projekt, das Informationen über verwendete Apps oder geöffnete Dateien direkter speicherte. timecapture GitHub-Link

• Zusammenfassung des vierten Kommentars:

  • Es ist interessant, dass jemand, der offenbar Wert auf Datenschutz und Sicherheit legt, einen Closed-Source-Webbrowser (Arc Browser) verwendet.

• Zusammenfassung des fünften Kommentars:

  • Ich wünsche mir ein solches Tool, das wirklich plattformübergreifend ist und lokal läuft. Linux und Windows sind Pflicht, und es müsste zu 100 % offline ohne Internet nutzbar sein. Ich wäre bereit, 60 Dollar pro Hauptversion und Jahr zu zahlen. Wenn dann noch eine permissive Open-Source-Lizenz dazukäme, wäre ich lebenslang Kunde. Vielleicht muss ich es selbst bauen, falls auch andere daran interessiert sind.

• Zusammenfassung des sechsten Kommentars:

  • Zu "Remember Everything": Ich verwende die Browser-Erweiterung "singleFile", um Kopien aller Webseiten zu speichern, die ich in Chrome und Firefox angesehen habe. Außerdem nutze ich das Programm "AutomaticScreenshotter", um Bildschirmaktivitäten außerhalb des Browsers aufzuzeichnen. So kann ich nachvollziehen, was ich an einem bestimmten Datum auf meinem PC gemacht habe. Alle Dateien werden in einer Verzeichnisstruktur Jahr/Monat/Tag gespeichert. Aktuell finde ich Dateien über die Windows-Suche. Mit "ditto" speichere ich alle Kopier- und Einfügevorgänge in einer mysqldb. Diese Verzeichnisstruktur nutze ich schon seit vor 2010, die Erweiterung und die Screenshots seit etwa 3–4 Jahren. Ich frage mich, ob man Tools zur forensischen PC-Untersuchung verwenden oder anpassen könnte, um eine Zeitleiste der PC-Aktivitäten zu erstellen.

• Zusammenfassung des siebten Kommentars:

  • Es wird interessant sein zu sehen, wie diese Technologien in 5 oder 10 Jahren genutzt werden. Wir verfügen jetzt über die mächtigsten Gedächtniswerkzeuge, die es je gab, versuchen aber gleichzeitig ständig, sie nicht zu benutzen. Auf einer ernsteren Ebene glaube ich, dass solche Tools Kreativität behindern könnten. Man könnte sich daran gewöhnen, sich auf diese Tools zu verlassen, statt sich selbst zu erinnern, und Kreativität besteht schließlich darin, Erinnerungen an Vergangenes mit künftigen Möglichkeiten neu zu kombinieren.

• Zusammenfassung des achten Kommentars:

  • Die Demo des OP ist wirklich sehr cool. Ich frage mich, warum das nur für Apple Silicon ist. Liegt es an der besseren ML-Unterstützung im Vergleich zu Windows? Schade, dass Olama unter Windows nicht verfügbar ist. Ich habe keinen Apple-Silicon-Laptop, sondern nur einen Intel-Mac von Apple und einen leistungsstarken Windows-PC, daher kann ich das nicht testen. Ich bin nur ein einfacher Programmierer und habe keine Ahnung, wie man so etwas ohne die Programmiersprache Swift von Grund auf baut. Wenn ich der OP wäre, würde ich viele Swift-Tutorials durcharbeiten. Es wäre Wunschdenken, einen Klon in Java oder C# zu bauen, der unter Linux oder Windows läuft, aber ich habe keinerlei Erfahrung mit ML, DirectX-APIs oder Linux-Desktop-APIs. Es gibt viele APIs und Tools, mit denen man sich vertraut machen müsste, bevor man so ein Projekt beginnt. Ich frage mich, wie der OP das ohne Swift-Erfahrung gebaut hat und ob es auf Apple Silicon einfacher ist, solche Projekte zu entwickeln. Ich habe 4 Jahre Erfahrung und arbeite mit Web-APIs sowie WinForm/DevExpress in Java und C#.

• Zusammenfassung des neunten Kommentars:

  • Ich denke, man könnte das auch nutzen, um sich selbst besser in die Pflicht zu nehmen. Ich frage mich, ob sich Screenshots leicht in "Zeitverschwendung" und "produktiv" klassifizieren lassen (wahrscheinlich wäre das mit einem ML-Modell möglich). Man könnte die Statistiken auch gamifizieren. Zum Beispiel könnte man sehen, dass man in der letzten Stunde zu 78 % produktiv, zu 12 % auf Hacker News und zu 10 % inaktiv war. Vielleicht würde man dann versuchen, den eigenen Highscore zu schlagen, etwa dreimal am Tag eine Stunde mit 100 % Produktivität zu erreichen — das wäre wahrscheinlich ein großartiger Tag. Ich mag das Video-Demo. In weniger als 30 Sekunden konnte ich verstehen, was das Tool macht. Danke! PPS: Der Regler für die Videogeschwindigkeit (Browser-Add-on) funktioniert jetzt auch mit Loom-Videos — vor ein paar Monaten war das noch nicht so.

• Zusammenfassung des zehnten Kommentars:

  • Es gibt ein potenzielles Alptraumszenario für diese Technologien. Arbeitgeber würden solche Tools liebend gern nutzen, um Mitarbeitende vollständig zu überwachen. In Verbindung mit AI könnte dann in Echtzeit überwacht werden, was alle tun, und bei allem könnten Warnungen ausgelöst werden.