- Wenn beim Teilen wissenschaftlicher PDFs download-spezifische Metadaten mit dem Zugriffszeitpunkt kombiniert werden, kann selbst dieselbe Paper-Datei zur Rückverfolgung der Quelle genutzt werden
- Der Identifikationswert lässt sich mit
exiftoolprüfen; Metadaten auf höherer Ebene können mit der Kombination exiftool + qpdf entfernt werden - PDFs enthalten außerdem NISO-Tags, die die „final published version“ (VoR) kennzeichnen, sowie Einschränkungen für erlaubte Domains; Elsevier scannt PDFs mit solchen Metadaten
- Auch in Papers, die von Sci-Hub heruntergeladen wurden, scheinen diese Metadaten erhalten zu bleiben, was zur Identifizierung des für den Download genutzten akademischen Kontos führen kann
- Zwei PDFs mit unterschiedlichen Identifikations-Tags waren nach dem Entfernen der Metadaten und der Verarbeitung mit
qpdf --deterministic-idlautdiffidentisch; daraus lässt sich das Fehlen zusätzlicher Wasserzeichen jedoch nur schwer verallgemeinern
Elsevier-PDF-Metadaten, die sich bei jedem Download ändern
- In Elsevier-PDFs wird bei jedem Download ein eindeutiger Hash als Metadatum eingefügt
- Wenn man dasselbe Paper zweimal herunterlädt und die Metadaten vergleicht, erscheinen unterschiedliche Werte
- Wird dieser Wert mit dem Zugriffszeitpunkt kombiniert, kann er dazu dienen, zu identifizieren, aus welchem Download ein geteiltes PDF stammt
Tools zur Prüfung und Entfernung
- Mit
exiftoollassen sich PDF-Metadaten direkt prüfen - Befehl zum Entfernen von Metadaten auf höherer Ebene:
exiftool -all:all= <path.pdf> -o <output1.pdf>qpdf --linearize <output1.pdf> <output2.pdf>
- Zum Entfernen aller Metadaten können dangerzone oder mat2 verwendet werden
- Zugehörige Tools:
- exiftool: Tool zum Lesen/Schreiben von Metadaten
- qpdf: Tool zur PDF-Verarbeitung
- dangerzone: GUI-Tool, das PDFs als Bilder rendert und anschließend erneut per OCR verarbeitet
- mat2: Tool zum Entfernen von Metadaten, das PDFs als Bilder rendert, aber kein OCR durchführt
Automatisches Bereinigungsskript und Tag-Extraktion
- Das bereitgestellte Shell-Skript sucht rekursiv in einem angegebenen Verzeichnis oder im aktuellen Verzeichnis nach PDFs und entfernt deren Metadaten
- Zielumgebungen sind macOS und Unix-artige Systeme;
qpdfundexiftoolmüssen installiert sein - Für jedes PDF wird eine bereinigte Version mit dem Suffix
_clean.pdferstellt, anschließend werdenexiftoolundqpdf --linearizeangewendet - Später wurden dem Gist korrekt extrahierte Tags sowie Python-Code hinzugefügt, mit dem man sie direkt extrahieren kann
- Anfangs wurde der Wert als „Hash“ bezeichnet, doch die extrahierten Werte weisen ein klares Muster auf; was sie enthalten, ist noch unbekannt
NISO-Tags und Spuren, die bei Sci-Hub erhalten bleiben
- Die PDF-Metadaten enthalten NISO-Tags, die den Dokumentstatus angeben
- Der Dokumentstatus wird als „final published version“ (VoR) angezeigt
- Zudem sind Einschränkungen enthalten, auf welchen Domains das Dokument vorhanden sein sollte
- Elsevier scannt PDFs mit diesen Metadaten; daher sollten Metadaten entfernt werden, wenn Kopien geteilt werden
- Auch in Papers, die von Sci-Hub heruntergeladen wurden, scheinen diese Metadaten erhalten zu bleiben
- Wenn Sci-Hub Papers mit gesammelten akademischen Zugangsdaten herunterlädt, können Verlage über diese Metadaten Konten identifizieren, die geschlossen oder geschützt werden sollten
Möglichkeit zusätzlicher Wasserzeichen und Prüfergebnisse
- Neben Metadaten bleibt die Möglichkeit ausgefeilterer Wasserzeichen bestehen
- Ergebnis eines Experiments mit zwei Dateien, die unterschiedliche Identifikations-Tags hatten:
- Die Metadaten wurden entfernt
- Sie wurden mit dem Flag
--deterministic-idvonqpdferneut linearisiert - Die resultierenden PDFs waren laut
diffidentisch
- Allein aus diesem Ergebnis sollte man nicht vorschnell verallgemeinern, dass es keine zusätzlichen Wasserzeichen gibt
- Metadaten sind ein besonders auffälliges Identifikationsmittel, weil sich große PDF-Mengen damit schnell scannen lassen
1 Kommentare
Meinungen auf Hacker News
Man stellt sich vor, wie viel Mühe sie sich geben, um Leute aufzuspüren, die Ideen teilen, die sie weder ursprünglich hervorgebracht noch finanziert haben, nur um sie dafür zu bestrafen, dass sie nicht bezahlt haben.
Solche Unternehmen wirken einfach wie Hindernisse für den Fortschritt der Menschheit.
Außerdem verlangen solche Unternehmen von Autoren absurde Summen für Zusatzleistungen wie den Druck von Farbbildern.
In ferner Zukunft werden Schulen und Universitäten solche Unternehmen wohl als Beispiele für gesellschaftliche Parasiten behandeln.
Das eigentliche Problem sind aus meiner Sicht Regierungen, insbesondere die US-Regierung, die ihr Monopol auf Zwangsgewalt nutzen, um solchen Unternehmen bei der Durchsetzung solcher Geschäftsmodelle zu helfen.
Manche Autoren schreiben jahrelang daran, viele mindestens ein Jahr, und manche Wissenschaftler arbeiten mehrere Jahre an einem einzigen Paper.
Elsevier ist ebenfalls ein Partner, der erheblich an der Produktion und Finanzierung dieser Arbeit beteiligt ist; die Beschäftigten dort kümmern sich um Lektorat, Satz und Vertrieb.
Auch die Autoren sind Partner in diesem Prozess und erhalten häufig Tantiemen von Elsevier.
Trotzdem gibt es Leute, die mit allen möglichen kruden Argumenten Piraterie rechtfertigen wollen.
Wenn es arme Autoren gibt, sollte man davon ausgehen, dass illegales Kopieren ihre Fähigkeit untergräbt, vom Verkauf ihrer Texte zu leben.
Es klingt nach einer guten Gewohnheit, vor der Veröffentlichung eines Dokuments Kopien aus zwei unterschiedlichen Quellen zu beziehen und die Hashes zu vergleichen.
Daten lassen sich überall einbetten: in Bilder, Audiodateien, PDFs, Programme usw.
Zumindest im Fall von Elsevier scheint ziemlich klar zu sein, dass sie Schlüssel verwenden, um Nutzer zu verfolgen.
Vielleicht kann dieses Gesetz endlich einmal nützlich sein.
Als freies Open-Source-Tool zum Entfernen potenzieller Malware aus PDF-Dateien gibt es DangerZone; es kann auch Metadaten löschen.
Für eine einfache Metadatenbereinigung ist es vielleicht überdimensioniert, aber erwähnenswert.
https://dangerzone.rocks/
In einem ausreichend langen PDF gibt es viele Möglichkeiten, einen 128-Bit-Identifier zu verstecken.
Weiße Rechtecke auf weißem Hintergrund, hier und da Pixel, die ganz leicht nicht schwarz sind, und so weiter.
Viele Methoden können sogar einen Ausdruck mit anschließendem Scan überstehen.
Ich nutze ein kleines Skript, um PDFs insgesamt zu bereinigen und auch die Größe zu reduzieren.
Ungefähr so:
pdftops -paper A4 -expand -level3 file.pdfps2pdf14 -dEmbedAllFonts=true \-dUseFlateCompression=true \-dOptimize=true \-dProcessColorModel=/DeviceRGB \-r72 \-dDownsampleGrayImages=true \-dGrayImageResolution=150 \-dAutoFilterGrayImages=false \-dGrayImageDownsampleType=/Bicubic \-dDownsampleMonoImages=true \-dMonoImageResolution=150 \-dMonoImageDownsampleType=/Subsample \-dDownsampleColorImages=true \-dColorImageResolution=150 \-dAutoFilterColorImages=false \-dColorImageDownsampleType=/Bicubic \-dPDFSETTINGS=/ebook \-dNOSAFER \-dALLOWPSTRANSPARENCY \-dShowAnnots=false \file.pdf file.pdfFalls nötig, kann man danach zusätzliche Metadaten einfügen.
Es ist nicht speziell dafür entwickelt, bestimmte Tracking-Methoden zu entfernen, aber in den meisten Fällen ist es einfach und ausreichend nützlich.
Man lädt das PDF bei Elsevier herunter, öffnet es im eigenen PDF-Viewer, klickt auf Drucken und wählt bei der Druckerauswahl Print to PDF.
Diese Information bleibt beim Kopieren von Dateien wahrscheinlich erhalten und kann je nach Tool und Format sogar in ein Archiv gelangen und später wiederhergestellt werden.
https://www.digital-detective.net/forensic-analysis-of-zone-...
Unter den Total-Commander-Plugins gibt es auch eines, das anzeigt, von wo eine bestimmte Datei heruntergeladen wurde.
Ich habe mehrere installiert und weiß daher nicht genau, welches es ist, aber vermutlich dieses Plugin: https://totalcmd.net/plugring/ntfsstreamviewer.html
Danach scannt man die ausgedruckten PDF-Seiten wieder ein, bündelt sie mit
convertundpdfunitezu einem PDF-Dokument und komprimiert es anschließend mitghostscript.Bitte macht das nicht, sofern ihr nicht wirklich sicher seid, dass es unbedingt nötig ist.
Ich lasse das hier, weil es zu diesem Thema passt
https://github.com/kanzure/pdfparanoia
Und
https://github.com/firstlookmedia/pdf-redact-tools
Den Link zu DangerZone findet man im ursprünglich eingereichten Mastodon-Thread
Wir sollten Tools bauen, mit denen sich das Wissen der Menschheit teilen und öffnen lässt
https://en.m.wikipedia.org/wiki/Sci-Hub
Es wäre allerdings wohl gut, wenn solche Fingerabdrücke automatisch entfernt würden
Dass Elsevier und ähnliche Akteure weiter überleben können und Menschen tatsächlich Geld an solche parasitären Systeme zahlen, ist etwas, dessen Ursachen man grundsätzlich suchen und analysieren sollte
Mögliche Hinweise sind, dass die Wissenschaft am Ende träge ist und keine Lust hat, das System zu reparieren; dass Forschende so sehr in ihre Forschung vertieft sind, dass die Qualität von Dingen, die nicht direkt mit ihrer Arbeit zu tun haben, miserabel ist; und dass es eine Anreizstruktur gibt, die den Menschen zugutekommt, die solche Systeme aufrechterhalten
Gibt es noch andere Hinweise?
In technischen Bereichen zum Beispiel hat es eine starke Verlagerung hin zu Open-Access-Journals gegeben, und das funktioniert auch gut für die Beförderung von Forschenden
Aber solange Dinge wie eine Tenure davon abhängen, in Nature zu veröffentlichen, wird es schwer sein, Nature in absehbarer Zeit zu verdrängen
Metadaten sind bei Wasserzeichen in Dokumenten ein sehr leichtes Ziel
Normalerweise nutzen PDF-Renderer Abstände, Kerning, unsichtbare Zeichen und alle möglichen Formen von Steganografie, um jede Kopie eindeutig zu machen
Ich frage mich, was ein Hash da überhaupt bedeuten soll; in der Praxis ist es eher ein Message Authentication Code, der einen geheimen Wert mit der eindeutigen Kopie kombiniert
Das hilft dem Verlag dann, bereinigte Kopien zu identifizieren
Wenn man zwei oder mehr Kopien hat, kann man sie wieder anonymisieren, und ich frage mich, ob zusammenfassende Sprachmodelle dafür nützlich sein könnten
Natürlich lassen sich auch in Diagramme steganografische Varianten einbauen
PDF ist ein schmutziges Dokumentformat, daher wandle ich es fast immer in Plain Text um, meist ohne Bedeutungsverlust
Ist diese Praxis in der EU legal?