Windrecorder - Open-Source-Windows-App zum Zurückspulen und Durchsuchen von allem auf dem Bildschirm

• Manchmal versucht man, sich an etwas zu erinnern, das man zuvor gelesen oder gesehen hat, findet es aber selbst nach dem Durchsuchen aller Apps nicht mehr.
• Besonders Informationen, die über mehrere Webseiten, Videos, Chat-Nachrichten usw. verstreut sind, tauchen nur kurz auf und verschwinden wieder. Selbst wenn man seine Erinnerung rekonstruiert oder den Browserverlauf durchsucht, fühlt es sich an, als hätten sie nie existiert.
• Noch schlimmer ist, dass diese Informationen gelöscht, verborgen oder verändert worden sein könnten.

Motivation für die Entwicklung einer persönlichen Memory-Storage-App

• Als jemand mit keinem besonders guten Gedächtnis, der aber aus FOMO Angst hat, Wichtiges zu verpassen, habe ich diese App für Windows entwickelt.
• Die wichtigste Inspiration kam vom frühen Konzept der Mac-App Rewind und von Black Mirror S1E3 "The Entire History of You".
  • Das Ziel war, dass Figuren alles mit ihren Augen aufzeichnen und man alles, was auf dem Computerbildschirm erschienen ist, zurückspulen oder durchsuchen kann.
• Diese App bietet mehrere zusätzliche Vorteile.
  • Eine lokal gespeicherte, unveränderliche persönliche Erinnerung
  • Kein Risiko, Erinnerungshinweise zu verlieren
  • Wiederherstellung der Arbeit bei Softwarefehlern möglich
  • Die Herkunft heruntergeladener Daten kann nachverfolgt werden
  • Informationen können gefunden werden, die man früher übersehen hat
  • (Persönlich ist sie für mich zu einem Werkzeug geworden, um mit Freunden Scherze zu machen.)

Wie die App umgesetzt ist

• Mit ffmpeg wird der Bildschirm in kleinen Dateifragmenten von jeweils 15 Minuten aufgezeichnet und anschließend mit der lokalen Windows-OCR-API sowie Bild-Embeddings indexiert.
• Es ist auch möglich, bestimmte Programme oder Bildschirmbereiche vom Mitschnitt auszuschließen.
• All dies lässt sich über eine lokale Web-UI zurückspulen oder durchsuchen (Fenstertitel, Text-Keywords, Bildbeschreibungen usw.).
• Auf Basis dieser Daten wurden außerdem Übersichtsfeatures wie tägliche und periodische Bildschirmzeit, zirkadiane Zusammenfassungen und monatliche Lightboxen hinzugefügt.

Datenschutz und Open Source

• Da Datenschutz wichtig ist, läuft alles ausschließlich auf dem eigenen Computer, und nichts wird in der Cloud gespeichert.
• Alles wurde transparent in Python umgesetzt und lässt sich von Nutzern leicht selbst anpassen (auch wenn die Performance etwas langsamer sein kann).
• Die Nutzung ist kostenlos und ohne Abogebühren möglich, und die Daten gehören den Nutzern selbst.

Aktueller Stand des Projekts und weitere Pläne

• Da ich kein professioneller Entwickler bin, wurde dies aus persönlichem Interesse und dem eigenen Nutzungsbedarf heraus entwickelt. Es ist daher möglicherweise nicht perfekt und kann einige Probleme haben.
• Nachdem ich es jedoch eine Zeit lang verwendet habe, halte ich es für ausgereift und stabil.
• Wenn dich dieses Projekt interessiert, bist du willkommen, an Diskussionen teilzunehmen, Probleme zu melden oder beizutragen, damit daraus eine noch bessere App wird.
• (Ich bin mir nicht sicher, ob es bereits eine ähnliche App für Windows gibt; ich weiß aber, dass es für Linux Apps wie Memento gibt. Falls du weitere kennst, lass es mich bitte wissen.)

[GN⁺]

Hacker-News-Kommentare

Zusammenfassung des DejaView-Projekts:

• Ein vor 20 Jahren entwickeltes Projekt, das Funktionen zum Aufzeichnen, Wiedergeben, Durchsuchen und Fortsetzen der Nutzung eines Desktop-Computers bietet
• Bildschirmausgabe sowie den Zustand von Anwendungen und Dateisystemen werden als Checkpoints aufgezeichnet; angezeigter Text wird zusammen mit Kontextinformationen erfasst und indexiert
• Nutzer können alle auf dem Desktop angezeigten visuellen Informationen durchsuchen und zum Zustand des jeweiligen Zeitpunkts zurückkehren, um weiter damit zu interagieren
• Funktioniert transparent per Virtualisierung, ohne Änderungen an Anwendungen, dem Windows-System oder dem OS-Kernel
• Die Evaluierung mit echten Desktop-Apps zeigte, dass kontinuierliche Aufzeichnung mit so geringem Overhead möglich ist, dass Nutzer ihn nicht wahrnehmen, und dass Suche und Wiedergabe schnell genug für interaktive Nutzung sind

Vorstellung ähnlicher Projekte:

• Das Open-Source-Projekt rem für macOS wurde auf HN vorgestellt und dort lebhaft diskutiert
• Es gibt auch das kommerzielle Projekt TimeSnapper für Windows

Meinungen zum Projekt:

• Es war eine Idee, die man schon lange hatte, und es ist bewegend zu sehen, dass jemand sie tatsächlich umgesetzt hat
• Allerdings scheint ein großes Risiko für die Datensicherheit zu bestehen. Man muss darüber nachdenken, wie sich bösartiges Verhalten der Anwendung selbst verhindern lässt
• Statt OCR könnte man Accessibility-APIs nutzen, um Text direkt zu erhalten, was deutlich effizienter wäre. Das wäre wohl auch eine gute Methode, um LLMs mit UIs zu verbinden und Trainingsdaten zu sammeln

Frühere ähnliche Projekte:

• 2014 scheiterte Savant Recall an der Aufnahme bei YC und wurde anschließend als Open Source veröffentlicht
• Der Mitgründer von Napster übernahm es, benannte es in Atlas Recall um, verbesserte die UI und warb 20 Millionen US-Dollar ein, doch schon nach einem Jahr wurde es von Xinova übernommen und der Dienst abrupt eingestellt
• 2019 gab es auch ein Projekt namens Apse

Sonstiges:

• Laut der Beschreibung auf GitHub wird mit einem jährlichen Speicherbedarf für Aufzeichnungen von etwa 100–200 GB gerechnet, was nicht schlecht ist
• Glückwunsch zur guten Umsetzung einer neuen Idee. Das ist ermutigend für alle, die sich schon einmal gefragt haben: „Warum gibt es so eine App eigentlich nicht?“
• Es wirkt ähnlich wie Apse.io und erstellt per OCR einen durchsuchbaren Index von allem, was auf dem Bildschirm angezeigt wird. Mir gefällt der Open-Source-Aspekt von Windrecorder
• An große Unternehmen, die Spyware auf den Workstations ihrer Mitarbeiter installieren wollen, ließe sich das wohl problemlos für 5 US-Dollar pro Sitz verkaufen