Meine 200-GB-iCloud-Aufräumaktion mit JavaScript
(andykong.org)- Als der iCloud-Speicher fast das 200-GB-Limit erreichte und allein Fotos rund 127 GB belegten, wurde statt eines Upgrades auf 1 TB ein Workaround ausprobiert: große Videos selbst finden und löschen
- Apple Photos und iCloud im Web bieten keine Sortierung nach Dateigröße, und auch separate Apps zeigten in iCloud ausgelagerte Fotos wie 0 B an, sodass sie als Grundlage fürs Aufräumen kaum brauchbar waren
- Da das Laufzeit-Badge von Videos in iCloud Photos im Web ein HTML-Element namens
video-text-badgeist, wurden lange Videos per JavaScript gesucht und mit einem roten Rahmen markiert - Nachdem Videos mit mehr als 30 Sekunden Laufzeit heruntergeladen und gelöscht wurden, waren die heruntergeladenen Dateien zwar nur etwa 7 GB groß, der belegte iCloud-Speicher sank jedoch überraschend um rund 55 GB
- Bei neuen 4K-Videos stimmten Dateigröße und Änderung der iCloud-Anzeige weitgehend überein, während ältere Videos in iCloud größer angerechnet wurden als die tatsächliche Datei — alte große Videos könnten daher beim Aufräumen Priorität haben
Lange Videos in iCloud im Web herausfiltern
- Nach Apples Speicherwarnung begann die Suche nach Alternativen, da ein Upgrade von 200 GB auf 1 TB die Kosten mehr als verdreifacht hätte
- Der größte Teil des Speichers entfiel auf Fotos, etwa 127 GB, doch weder Apple Photos noch der iCloud-Browser boten eine Funktion, Fotos nach Dateigröße zu sortieren
- Auch Apps, die doppelte Fotos oder die Größe von Videodateien anzeigen, waren beim tatsächlichen Aufräumen wenig hilfreich, weil sie in iCloud ausgelagerte Fotos wie 0 B darstellten
- Auf der iCloud-Website wurde zu
Photos -> Media Types -> Videosgewechselt und die Ansicht so weit wie möglich verkleinert, damit möglichst viele Videos auf einmal sichtbar waren - Da das Laufzeit-Badge jedes Videos ein HTML-Element sein könnte, das sich per JavaScript durchsuchen und filtern lässt, wurde Code geschrieben, der lange Videos hervorhebt
- Die Klasse des Laufzeit-Badges lautet
video-text-badge - Die Badges auf der Seite werden gesucht, anhand der Laufzeit sortiert und Einträge oberhalb eines bestimmten Schwellenwerts hervorgehoben
- Da iCloud nur die aktuell auf dem Bildschirm geladenen Elemente einbindet, wird der Vorgang per Timer wiederholt, damit auch neu hineingescrollte Elemente verarbeitet werden
- Die Klasse des Laufzeit-Badges lautet
- Die Nutzung besteht darin, auf der iCloud-Seite die JavaScript-Konsole zu öffnen und das gesamte Gist einzufügen
- Im Ergebnis wurden Videos mit mehr als 20 Sekunden Laufzeit mit einem roten Rahmen markiert, sodass sich mehrere große Videos leichter auswählen, herunterladen und anschließend löschen ließen
Speicheränderungen nach dem Löschen und zwei Experimente
- Als per Skript alle iCloud-Videos mit mehr als 30 Sekunden Laufzeit entfernt wurden, waren die heruntergeladenen Videos etwa 7 GB groß, der iCloud-Speicher sank jedoch um rund 55 GB
- Alle heruntergeladenen Videos belegten auf der Festplatte 8 GB
- Die iCloud-Nutzung sank von 199 GB auf 143 GB
- Im ersten Experiment wurde ein bewegungsreiches 4K-Video hochgeladen, um die Reaktion des iCloud-Speichers zu prüfen
- Die hochgeladene Datei war 281 MB groß
- Nach dem Upload lag die iCloud-Nutzung bei 145,33 GB
- Nach dem Herunterladen und Löschen war die Datei weiterhin 281 MB groß
- Nach dem Löschen wurde die iCloud-Nutzung mit 145,6 GB angezeigt, die Differenz der Anzeige lag also bei etwa 270 MB
- Im zweiten Experiment wurde aus den älteren Videos ein kurzes Video ausgewählt, das iCloud als große Datei anzeigte
- iCloud zeigte dieses Video mit 128 MB an
- Die heruntergeladene Datei war 47 MB groß
- Vor dem Löschen lag die iCloud-Nutzung bei 145,29 GB, danach bei 145,12 GB — ein Rückgang um etwa 170 MB
- Durch das Löschen von Dateien mit etwa 7 GB wurden mehr als siebenmal so viel Speicherplatz frei, und ältere große Videos schienen in iCloud eine größere Speicherbelegung zu haben als ihre tatsächliche Dateigröße
- Die Ursache wurde nicht geklärt, doch am Ende wurden mehr als 50 GB iCloud-Speicher freigegeben, und ein kleines JavaScript-Skript blieb übrig, mit dem sich dieselbe Aktion erneut durchführen lässt
1 Kommentare
Hacker-News-Kommentare
In Photos.app wird die Dateigröße nicht angezeigt, daher hatte ich überlegt, eine Photos.app-Erweiterung oder eine separate App zu bauen, die große Dateien findet.
Allerdings scheint die API die „Dateigröße“ nicht offenzulegen, zumindest habe ich keinen einfachen Weg gefunden.
Ich sehe „Fotos“ oder „Videos“ eher als Ansichten, die das zugrunde liegende „photo or video object“ anzeigen. Selbst wenn man ein Video zuschneidet, bleibt offenbar das komplette Originalvideo erhalten; erst beim Export entsteht tatsächlich eine zugeschnittene, kleinere Datei.
Deshalb scheint die Dateigröße unterschiedlich auszusehen. Außerdem soll jemand ein AppleScript geschrieben haben, das die Dateigröße abfragt: https://discussions.apple.com/docs/DOC-250000422
Mich würde interessieren, in welcher API du nach der „Dateigröße“ gesucht hast.
Mit der PhotoKit API konnte ich Größendaten aus Photos.app holen: https://alexwlchan.net/2023/finding-big-photos/
Ich habe es nur mit meiner Bibliothek mit etwa 26.000 Elementen getestet, aber als Kennzahl zum Finden der größten Elemente war es nützlich. Allerdings konnte ich nicht überprüfen, ob der iCloud-Verbrauch tatsächlich um 1 GB sinkt, wenn man ein 1-GB-Video exportiert.
Dadurch kann ein frisch importiertes Foto, das in der Bibliothek nur als ein Thumbnail erscheint, tatsächlich 5 MB oder 50 MB groß sein.
Das erklärt auch, warum der iPhone-Speicher trotz so zwanghafter Verwaltung immer nahe am Limit ist.
osxphotos query --min-size 100MB --add-to-album "Big Files"Findet alle Fotos und Videos, die größer als 100 MB sind, und fügt sie dem Album „Big Files“ hinzu.
Weitere Details gibt es mit
osxphotos query --help; um die Dokumentation im Browser zu öffnen, sieheosxphotos docs. Hinweis: Das Tool ist von mir.Es könnte ein Bug sein, aber in manchen Fällen speichert iCloud möglicherweise heimlich mehrere Versionen derselben Datei. Apple macht Ähnliches ja auch bei anderen Mediendateien.
Das letzte Beispiel ist interessant:
„iCloud sagt, das Video sei 128 MB groß, aber nach dem Herunterladen war das tatsächliche Video 48 MB groß, und nach dem Löschen wurden etwa 170 MB Speicher frei.“
Das spricht dafür, dass iCloud nicht einfach nur die Größe der Beispieldatei falsch anzeigt. Wenn man eine 128-MB-Datei löscht, sollten auch nur etwa 128 MB iCloud-Speicher frei werden; tatsächlich wurden aber fast 176 MB frei, also ungefähr die angezeigten 128 MB plus die heruntergeladene Version mit 48 MB. Wenn iCloud freien Speicher in 10-MB-Schritten gerundet anzeigt, passt das ziemlich gut.
Am Ende bindet man sich bei Speicher immer stärker an irgendeinen Dienst und zahlt ein Abo nach Gesamtspeicher, hat aber kaum Informationen darüber, wie man diesen Speicher optimieren kann. Aus Sicht von Verbrauchern, die in einer festen Kostenstufe bleiben oder das Verhältnis von Speicher zu Kosten senken wollen, fühlt es sich so an, als könne man nur zusehen und immer weiter mehr bezahlen.
Die moderne Geschäftsstrategie der Tech-Branche besteht darin, sich hinter Komplexität zu verstecken. Kosten seien zu komplex, um sie zu verstehen, und man würde Wettbewerbern zu viele interne Informationen offenlegen. Wenn es aber darum geht zu prüfen, ob das Unternehmen kostendeckend arbeitet, werden solche Kennzahlen irgendwie doch berechnet. Sobald Verbraucher sie verstehen wollen, ist es plötzlich zu komplex.
Das Problem ist, dass Technologie tatsächlich oft auf ein Ausmaß anwächst, das zu komplex ist, und Führungskräfte das wissen; dadurch wird es zu einer ziemlich wirksamen Ausrede. Und praktischerweise konzentrieren sie genau dort ihre Investitionen und schlagen Marge darauf.
Die zugeschnittene Datei war kleiner als die von iCloud angezeigte Größe, aber als ich auswählte, dass das unveränderte Original heruntergeladen werden soll, stimmte die Größe mit der iCloud-Anzeige überein.
Wenn man also Fotos mit iCloud synchronisiert, werden nicht nur einzelne Dateien synchronisiert, sondern der von der Photos-App verwaltete Container „Photos Library“.
Wenn man einzelne Dateien direkt im Finder oder in der Files-App hinzufügt, stimmen die Größen in iCloud und im lokalen Dateisystem exakt überein.
Wenn man eine Festplatte oder einen USB-Stick kauft, kann man eine bestimmte Anzahl GB nach Belieben nutzen. Legt man eine 1-GB-Datei darauf, sinkt der freie Speicher um 1 GB. Je nach Dateisystem verliert man vielleicht ein paar KB für Metadaten, aber die Wahl des Dateisystems liegt beim Nutzer und wird nicht vom Speichergerät erzwungen.
Selbst wenn der NAND-Controller ein paar MB des Overprovisioning-Bereichs für Block-Mapping-Tabellen nutzt oder Daten der Bequemlichkeit halber redundant speichert, wird dem Nutzer dieser Overprovisioning-Bereich nicht berechnet.
Hier wird dagegen ein per HTTP zugängliches Speichergerät verkauft, bei dem sie beim Schreiben einer 1-GB-Datei aus eigener Bequemlichkeit Replikation/Konvertierung usw. durchführen und dem Nutzer auch noch die Speicherkosten für diese nicht angeforderten Kopien berechnen. Das ist neu und unerwartet.
Ich habe diese Idee/Lösung in ein TamperMonkey/Greasemonkey-Skript umgewandelt.
Außerdem habe ich eine Funktion hinzugefügt, die alle Elemente, die nicht den Kriterien entsprechen, „ausblendet“.
https://github.com/seffignoz/icloudcleanup
Das ist einer der Gründe, warum ich Self-Hosting betreibe. Ich vertraue der Klarheit und Transparenz von Cloud-Anbietern nicht. Selbst wenn Self-Hosting-Lösungen deutlich weniger stabil, weniger sicher und weniger performant sind, würde ich vermutlich nicht wechseln.
Persönlich nutze ich immich. Das ist eine ziemlich ausgereifte Lösung mit iOS-/Android-Apps, Server-Komponenten sowie Synchronisierungs-/Backup-Optionen.
https://immich.app/
Google macht das so. Wenn man sich https://one.google.com/storage und https://photos.google.com/quotamanagement ansieht, helfen sie einem dabei, zu löschende Elemente gut zu finden, und sind letztlich so aufgebaut, dass man vom Löschen müde wird und mehr Speicherplatz kauft.
Soweit ich weiß, speichert iCloud die Originale in voller Qualität und lädt auf das Telefon optimierte Versionen mit geringerer Qualität herunter.
Wenn man in den iPhone-Einstellungen zu
Apple ID > iCloud > Photosgeht, gibt es die standardmäßig aktivierte Option „Optimise iPhone Storage“.In der Beschreibung dieser Option steht, dass Fotos und Videos in voller Auflösung automatisch durch kleinere Versionen für das Gerät ersetzt werden, wenn auf dem Telefon wenig Speicherplatz vorhanden ist, und dass die Versionen in voller Auflösung jederzeit aus iCloud heruntergeladen werden können.
Das wirkt ziemlich vernünftig.
Das betrifft den Telefonspeicher, den man unter Settings > Manage storage sehen kann, und hat nichts mit Cloud-Speicher zu tun.
Ein interessanter Beitrag. Wegen eines ähnlichen Problems musste auch ich meinen iCloud-Tarif hochstufen, daher hat Apple möglicherweise keine hohe Priorität, das zu beheben.
Wenn man in RAW+JPEG fotografiert, bündelt Apple Photos die beiden Bilder. Für Fotobegeisterte ist das keine besonders ungewöhnliche Arbeitsweise, und es ist praktisch, weil man leicht zwischen RAW und JPEG wechseln kann, ohne dass sich in der Library massenhaft beinahe doppelte Fotos ansammeln.
Aber wegen dieser Bündelung und des im Beitrag beschriebenen Dateisystem-Designs scheint es unmöglich zu sein, die beiden einfach zu trennen und nur die RAWs zu löschen. Nach einigen Jahren liegen dort riesige RAW-Dateien, die ich nie wieder anfassen werde, aber ich kann sie nicht löschen, weil ich die viel kleineren JPEGs behalten möchte.
Am einfachsten wirkt es, die Originale zu exportieren, sie aus der Library zu löschen und dann nur die JPEGs wieder zu importieren, aber dadurch verliert man die über Jahre in der Library angesammelten Metadaten.
Also bleibt mir nichts anderes übrig, als den Tarif hochzustufen.
Wenn es um Zusatzfunktionen wie Gesichtserkennung geht: Verarbeitet die App das nicht erneut, nachdem man die JPEGs wieder importiert hat?
osxphotos export /path/to/export --has-raw --skip-raw --exiftoolDas exportiert alle Bilder, die ein RAW-Paar haben, überspringt aber die RAW-Komponente und schreibt mit exiftool (https://exiftool.org/) Metadaten wie Schlüsselwörter in die exportierten JPEG-Dateien. Danach kann man sie per Drag-and-drop wieder in Photos ziehen oder
osxphotos import /path/to/export/*ausführen.Die Befehle export und import haben noch viele weitere Optionen, etwa zur Steuerung des Exportverzeichnisses. Für Hilfe kann man
osxphotos help exportverwenden oder mitosxphotos docsdie Dokumentation im Browser öffnen. Zur Einordnung: Ich bin der Autor von osxphotos.Wenn man File/Export Unmodified Originals ausführt, werden anscheinend RAW+HEIC sowie separate Sidecar-Dateien mit Metadaten exportiert. Danach kann man die RAW-Dateien separat beiseitelegen und die HEIC-Dateien importieren; die Sidecar-Metadatendateien sollen dabei automatisch mitimportiert werden.
Allerdings verliert man Bearbeitungen. Trotzdem scheint somehow „copy edits“ möglich zu sein. Für technisch versierte Leute ließe sich dieser Prozess vermutlich mit AppleScript automatisieren.
Aber es ist unnötig umständlich und sollte als integrierte Funktion in Photos.app vorhanden sein. Da es dabei hilft, Nutzer zu einem höheren iCloud-Tarif zu bewegen, hat es ganz offensichtlich eine niedrige Priorität.
Erstaunlicherweise bekam ich vor den Feiertagen eine ähnliche Speicherplatz-Benachrichtigung von Apple und habe beschlossen, alle Fotos/Videos auf meinen Medienserver herunterzuladen, statt sie in iCloud liegen zu lassen.
Es gibt keine einfache, intuitive Möglichkeit, ein Archiv aus iCloud herunterzuladen. Ich mache das gerade langsam mit mehreren Maschinen und Geräten.
Das Problem an Apples jüngsten Änderungen ist, dass die Preise ohne echten Grund steigen. Wir werden weiter Fotos und Videos aufnehmen, und wegen neuer Technik und Funktionen werden die Dateigrößen zwangsläufig weiter wachsen.
Sie funktioniert ähnlich wie Google Takeout. Auf einem Mac, iPhone, iPad oder PC auf appleid.apple.com in die Apple-ID-Accountseite einloggen, zu „Data & Privacy“ gehen und „Manage Your Data and Privacy“ auswählen.
Auf der nächsten Seite zu „Get a copy of your data“ gehen und „Get started“ auswählen.
https://github.com/icloud-photos-downloader/icloud_photos_downloader
Bei Bedarf kann es auch Fotos aus iCloud herunterladen und Formate konvertieren. Alle paar Tage schicke ich neue Fotos auf das NAS, sodass ich immer eine lokale Kopie habe; diese Kopien werden außerdem jede Nacht zu Backblaze B2 gesichert.
Dank der Formatkonvertierung kann ich Fotos als HEIC+JPG-Paare behalten und habe so das Original und eine leichter nutzbare Version zusammen.
Was ich wirklich gern hätte, ist ein Tool, das dasselbe auch für iCloud Drive macht. Dort liegen bei mir diverse Dinge, und es nervt, dass es keine vernünftige Möglichkeit gibt, sie zu sichern. Apples empfohlener Weg (https://support.apple.com/en-us/HT204055) ist ziemlich unbefriedigend.
Was ich am meisten hasse, sind diese seltsamen Tarifstufen, bei denen es von 200 GB direkt auf 2 TB springt. Es gibt keine Möglichkeit, in Schritten für 500 GB oder 1 TB zu zahlen, was für viele Familien genau passen würde.
In einer Zeit, in der Speicherplatz zur Commodity geworden ist, sollte pro genutztem GB abgerechnet werden.
Was meinen iCloud-Speicher stark auffrisst, sind die „Live“-Videoversionen der Fotos. Sie sind größer als die Fotos mit diesem sehr kurzen Bewegungsstück dazu.
Die einzige Vorgehensweise, die ich bisher gefunden habe: Dateien lokal herunterladen, aus iCloud löschen, dann die lokalen Videos entfernen und nur die verbleibenden Standbilder wieder hochladen.
Das dauert lange, ist umständlich, und währenddessen habe ich ständig Angst, etwas zu löschen oder etwas Wichtiges zu verlieren.
Ich frage mich, ob es ein Tool gibt, das diesen Prozess automatisiert und zugleich ein gewisses Maß an Bearbeitungskontrolle bietet, damit man die wenigen „Live“-Bilder, die man wirklich behalten möchte, identifizieren und behalten kann.
Habe ich das richtig gelesen?
Wenn das ein weit verbreitetes Phänomen ist, könnte man das so sehen, dass Apple die Zahlen aufbläht, um Upgrades zu fördern, und das könnte doch zu Klagen führen, oder?
Ich bin kein Rechtsexperte.
Wenn man ein Foto oder Video hinzufügt, analysiert die Fotos-App es und speichert verschiedene Metadaten, die für den Betrieb der App nötig sind, einschließlich Bearbeitungsverlauf. Am Ende wird das mit iCloud synchronisiert.
Vielleicht verwendet Apple für iCloud noch ein altes Dateisystemformat. iCloud gibt es schon eine ganze Weile, und vielleicht hat man sich nicht darum gekümmert, das Speicherformat zu ändern. Es könnte auch sein, dass Bilder/Videos alter Accounts auf „alten“ Laufwerken liegen.