4 Punkte von GN⁺ 9 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Ghost Font ist ein Experiment visueller Kommunikation, das Buchstaben durch die Bewegung von Punkten erzeugt, die wie der Hintergrund aussehen. Menschen erkennen die Nachricht im Video, doch KI, die einzelne Frames analysiert, kann sie nicht leicht entschlüsseln
  • Statt einer traditionellen TTF-Schrift kombiniert es Bewegung, Video, Rauschen und Köder-Nachrichten. Hält man das Video an oder macht einen Screenshot, vermischen sich die Punkte mit dem Hintergrund und die Botschaft wird nicht sichtbar
  • Claude Fable und GPT Sol 5.6 Ultra taten sich schwer, bis man ihnen per Prompt die genaue Entschlüsselungsmethode vorgab, und ChatGPT 5.5 Pro analysierte 19 Minuten lang, bevor es eine nicht existierende Nachricht erzeugte
  • Spezialisierte Agenten, die lokal Code ausführen, können die Punktbewegungen analysieren. Deshalb fügt das System jedem Video Köder-Nachrichten hinzu, doch für echte vertrauliche Informationen sollten Verschlüsselung oder Passwörter verwendet werden
  • Es könnte für CAPTCHA und Benchmarks zur visuellen KI-Erkennung nutzbar sein, ist aber auch für Menschen schwer zu lesen, und mit dem Aufkommen video-nativer Modelle könnte es entschlüsselt werden. Der Code zur Videoerzeugung soll als Open Source veröffentlicht werden

Mit Bewegung erzeugte Buchstaben

  • Ghost Font speichert Nachrichten nicht als statische Buchstabenformen, sondern als Bewegungen von Punkten
    • Es kombiniert Bewegung, Video, Rauschen und Köder, um Nachrichten zu teilen, die Menschen lesen können
    • Es ist keine gewöhnliche TTF-Schriftdatei, sondern ein Experiment, das untersucht, ob sich Text in einem Format visuell vermitteln lässt, das KI nicht leicht versteht
  • Zwar ist es nicht so klar wie normaler Text, doch Menschen erkennen die bewegten Buchstaben sofort, während führende KI-Modelle sie nicht ohne Weiteres entschlüsseln können
  • Der bereitgestellte Playground ist ein Prototyp, um das Konzept zu testen
    • Gibt man einige Wörter ein, erscheinen Buchstaben durch die Bewegung von Punkten
    • Die eingegebene Nachricht lässt sich in Echtzeit als Vorschau ansehen oder als Video herunterladen, teilen und selbst testen
    • Die gesamte Verarbeitung erfolgt lokal; keine Daten werden an Server übertragen oder geteilt

Eine Struktur, die sich aus Standbildern nicht lesen lässt

  • Alle Buchstaben bestehen aus Punkten, die genauso aussehen wie der Hintergrund, und die Nachricht erscheint nur in der Bewegung über die Zeit
  • Hält man das Video an, vermischen sich die statischen Punkte miteinander, sodass sich aus einem einzelnen Frame nur schwer erkennen lässt, welche Nachricht enthalten ist
  • Selbst bei einem Screenshot der Seite oder beim Extrahieren einzelner Bilder aus dem Video werden keine lesbaren Nachrichteninformationen sichtbar

Von ZXX zu Ghost Font

  • Der Designer Sang Mun stellte 2013 ZXX vor, eine Schrift, die Menschen lesen konnten, die aber für OCR-Software schwer zu erkennen war
    • Sie bestand aus vier Schriftarten und tarnte Buchstaben als Rauschen, strich sie mit Linien durch oder verbarg sie unter falschen Markierungen
    • Damals galt sie als Schrift, mit der sich Überwachung umgehen ließ, doch moderne KI-Agenten können in ZXX gerenderte Buchstaben leicht lesen
  • Als ZXX-Bilder in den Instant-Modus von ChatGPT 5.5 eingegeben wurden, erkannte das Modell mit nur einem Prompt Wörter und sogar einige kleine Details
  • Bei einem einzelnen Bild von Ghost Font sind dagegen nur unlesbare statische Punkte zu sehen, weshalb sich mit derselben Art der Bildanalyse nur schwer eine Nachricht gewinnen lässt
    • ChatGPT 5.5 Pro analysierte 19 Minuten lang und erzeugte danach eine Nachricht, die tatsächlich nicht existierte

Codebasierte Analyse und Köder-Nachrichten

  • Allein die Nutzung von Video bietet keinen vollständigen Schutz
    • Online-Modellumgebungen finden in einzelnen Frames möglicherweise keine Nachricht
    • Spezialisierte Agenten mit lokaler Code-Ausführungsumgebung können die Bewegungen der Punkte analysieren und die echte Nachricht entschlüsseln
  • Um die Analyse zu erschweren, fügt Ghost Font jedem erzeugten Video Köder-Nachrichten hinzu
    • Wenn ein Agent, der nach versteckten Nachrichten sucht, zuerst den Köder findet, kann er ihn für die echte Nachricht halten
    • Wegen dieser zusätzlichen Ebene hatten selbst starke Reasoning-Modelle wie Fable und GPT Sol 5.6 Ultra Schwierigkeiten mit der Entschlüsselung
  • Claude Fable und GPT Sol 5.6 Ultra konnten zwar Code verwenden, hatten aber Probleme, die bewegte Nachricht zu entschlüsseln, bis ihnen per Prompt exakt gesagt wurde, nach welcher Methode sie suchen sollten

Grenzen als Sicherheitsmittel

  • Wenn eine Nachricht wirklich verborgen werden muss, sollte man nicht Ghost Font, sondern Verschlüsselung oder einen bestimmten Schlüssel verwenden
    • Eine Nachricht, die sich mit einem Passwort öffnen lässt, das nur Menschen kennen, kann auch eine KI ohne dieses Passwort nicht lesen
  • Das Ziel von Ghost Font ist nicht vollständige Sicherheit, sondern zu testen, ob sich in einer teilbaren Datei eine visuelle Nachricht unterbringen lässt, die Menschen sehen können, KI aber nicht leicht lesen kann
  • Es ist zugleich ein Versuch, die Grenzen der KI-Wahrnehmung auszuloten und etwas genuin Menschliches zu bewahren
    • Während KI inzwischen auch für die Schriftgenerierung eingesetzt wird, bleibt die Hoffnung, dass Menschen weiterhin eine eigenständige kreative Stimme behalten

Möglichkeiten für CAPTCHA und KI-Benchmarks

  • Bewegte Buchstaben könnten sich für CAPTCHA eignen
    • In einer Situation, in der KI viele CAPTCHA leicht löst, könnte Bewegung im Video die Entschlüsselung für automatisierte Bots erschweren und für Menschen dennoch vergleichsweise lesbar bleiben
  • Denkbar ist auch eine Nutzung als Benchmark, um Fortschritte in der visuellen Wahrnehmung von KI zu messen
    • Aktuelle multimodale Modelle sind vor allem bildbasiert und zerlegen Videos im Allgemeinen in Frames, um jedes Bild einzeln zu analysieren
    • Mit künftigen video-nativen Modellen dürfte die Bewegung direkt verarbeitet werden können, sodass sich der Text von Ghost Font lesen ließe

Die kleiner werdende Lücke zwischen Mensch und KI

  • Ghost Font ist für KI schwer zu lesen, aber auch für Menschen ziemlich schwer lesbar
  • Da sich die visuelle Wahrnehmungsfähigkeit von KI schnell verbessert, wird die Wahrnehmungslücke zwischen Mensch und KI immer kleiner
  • Als nächsten Schritt ist geplant, den Code zur Videoerzeugung als Open-Source-Projekt zu veröffentlichen
    • Er soll erweitert werden, um größere Bildschirmgrößen zu unterstützen und auch längere Zeichenketten verarbeiten zu können

1 Kommentare

 
GN⁺ 9 시간 전
Hacker-News-Kommentare
  • CAPTCHAs dieser Art gibt es bereits und sie lassen sich leicht umgehen. Wenn man eine Mittelung über die Zeitachse nachahmt und etwa vier aufeinanderfolgende Frames mittelt, treten die Buchstaben deutlich hervor, und selbst grundlegende große Sprachmodelle können sie lesen.
    Da diese Methode auch bei vielen anderen AI-Abwehrtechniken funktioniert, dürfte sie Scraper kaum verlangsamen.

  • Man könnte auf Ghost Font wohl gängige Verfahren der Videokompression anwenden, anschließend aus dem komprimierten Signal die Buchstabenkonturen rekonstruieren und sie per optischer Zeichenerkennung (OCR) analysieren. Es mag eine neue CAPTCHA-Methode sein, aber sobald das Katz-und-Maus-Spiel beginnt, ist sie grundsätzlich nicht schwieriger als bisherige Verfahren.

    • Am Ende wird es irgendwo einen passenden ffmpeg-Befehl dafür geben.
    • Schon mit zwei Screenshots und einem Filter erhielt ich folgendes Ergebnis:
      https://fingswotidun.com/images/GhostFont_2_samples.jpg
      https://fingswotidun.com/images/GhostFont_b_2_samples.jpg
      Eine AI würde statt unbeholfen den Screenshot-Button zu drücken fortlaufende Frames verwenden und selbst aus einem Video, das kürzer ist als die Zeit, die ein Mensch zum Lesen braucht, genug Samples sammeln, um den Text klar zu rekonstruieren.
    • Es könnte bestehende CAPTCHAs ersetzen, bietet aber nicht den Nebeneffekt, unbekannte Bilder mit von Nutzern eingereichten Daten zu trainieren oder Labels vorhandener Bildausschnitte zu verbessern.
  • Zuerst dachte ich, „Written In Ghost Text“ sei der Satz, den man lesen soll, und erst viel später merkte ich, dass es ein Ködertext ist. Der eigentliche Satz war so schwer zu lesen wie ein Magic-Eye-3D-Bild, und auf dem Smartphone-Display bekam ich davon fast Kopfschmerzen.
    Die Forschungsidee ist interessant, aber ich frage mich, wann AI-Modelle herausfinden, wie man es entschlüsselt; mit einem nur leicht verbesserten Prompt dürfte das möglich sein.

    • Bei mir war es genau umgekehrt. Der eigentliche Text war sehr leicht zu lesen, aber „Written in Ghost Text“ war so blass, dass ich ihn ohne diesen Kommentar völlig übersehen hätte.
    • Da ich keine Magic-Eye-Bilder sehen kann, sehe ich auch den Hilfstext nicht. AI kann ihn mit mehreren Samples lesen, daher ist es langfristig gut möglich, dass AI ihn besser lesen wird als Menschen.
    • Wirklich? Der Satz, den ich sehe, ist nur dieser.
    • Ich kann den Ködertext überhaupt nicht lesen.
  • Als ich GPT-5.6 ein aufgezeichnetes Video gab, las es den Text problemlos. Es schätzte die Bewegung im Video über optischen Fluss und eine Karte der vertikalen Verschiebung und setzte das zu einer kontrastreichen Bewegungskarte zusammen; ich hatte keine Methode vorgegeben, sondern nur gefragt, was dort steht.

    • Ich habe es auch in Fable mit dem Prompt „What does the message say?“ eingegeben, und es hat es problemlos erkannt. Auch der Schlussfolgerungsprozess ist interessant: https://imgur.com/a/GToXs6W
    • Es hat nicht den Ködertext erkannt, sondern den Text gelesen, den ich selbst eingegeben hatte. Es führte nacheinander Videometadaten- und Frame-Analyse, Erkennung der Stereogramm-Periode, Weichzeichnung und Verkleinerung, Berechnung von Frame-Verschiebungen und Kreuzkorrelation, OpenCV-Prüfung, Optimierung des optischen Flusses, Schätzung der vertikalen Verschiebung und Verbesserungen bei der Textextraktion durch.
    • Ich frage mich, ob es einen Link zu dieser Unterhaltung gibt.
  • Clever, aber algorithmisch nicht unknackbar. Man verschiebt den Index eines von zwei aufeinanderfolgenden Frames, sucht die Position mit der minimalen Differenz, subtrahiert dann die ausgerichteten Frames voneinander und wendet optische Zeichenerkennung an.
    Das funktioniert besonders gut, wenn die Bewegung linear oder einseitig ist; mit 20 Zeilen Code, die nur vertikale Verschiebungen prüfen, ergibt die Subtraktion von Frame 7 von Frame 1 Folgendes: https://imgur.com/a/only-human-can-read-this-vfDe6ZA

    • Diese Methode ist anfällig für False Positives und insgesamt auch rechenintensiv. Ghost Font selbst wirkt wie eine ziemlich solide Technik.
    • Ich frage mich, ob du den Code teilen könntest.
  • Ich habe einen Screenshot des Standardtexts „GHOST FONT“ in ChatGPT 5.6 Sol eingefügt und es gebeten, ihn zu lesen; nach einiger Verarbeitung antwortete es: „WHAT HAPPENS IN VEGAS / STAYS IN VEGAS“.

    • Der Text ist kein Standbild, sondern ein Video, und jeder Frame besteht aus zufälligen Punkten; ein einzelner Frame enthält nicht den beabsichtigten Satz.
      Es nutzt aus, dass die Topmodelle der aktuellen Generation Videos frameweise verarbeiten; außerdem enthält jeder Frame einen versteckten Ködertext, der das Modell glauben lassen soll, es habe die Antwort gefunden, und abbrechen lässt. Analysiert man die Korrelation zwischen den Frames, kann man die Technik erkennen, aber ein einzelner Frame enthält nur Rauschen und Köder.
    • Was den Text lesbar macht, ist Bewegung; daher ist es schwer, von einem Screenshot, der nur Rauschen enthält, die gewünschte Antwort zu erwarten. Beim erneuten Hinsehen steht auf dem Standbild allerdings auch „WRITTEN IN GHOST FONT“.
  • Wenn schon Menschen es nur schwer lesen können, kann man AI, falls es wichtig wird, ebenfalls darauf trainieren. Dann frage ich mich, worin der praktische Nutzen liegt.

    • Ein Forschungsprojekt muss nicht zwingend praktisch sein. Es ist an sich sinnvoll, diesen Bereich zu erkunden und die Erkenntnisse zu teilen.
  • Umgekehrt würde ich auch gern eine Schriftart sehen, die nur AI lesen kann.

  • Diese Technik ist solide, aber die endgültige Lösung wird am Ende wohl leider Attestation sein.

  • Streng genommen ist es keine Schriftart, die statisch sein müsste, sondern ein Videoeffekt. Es ist ungefähr so, als würde man ein Buch zuklappen, ein Foto davon machen und sagen, die Kamera könne diese Schriftart nicht lesen.
    Ich habe einen einzelnen Frame und ein einsekündiges Video in GPT 5.6 Sol (High) eingegeben; den Frame entschlüsselte es nach 9 Minuten und 30 Sekunden als „WRITTEN IN GHOST FONT“. In der Demo ist nur „GHOST FONT“ zu sehen, aber im extrahierten Bild trat tatsächlich eine „Ghost Font“-Form hervor.
    Beim Video erkannte es nach 3 Minuten, dass es sich um einen durch Bewegung definierten Effekt handelt, bat darum, QuickTime auszuführen, und erklärte, es gebe „keine lesbare statische OCR-Ebene, und ich extrahiere die Buchstabenformen aus dem optischen Flussfeld“. Nach 4 Minuten erhielt es ein bewegungsbasiertes Bild in Buchstabenform und gab nach weiteren 9 Minuten Analyse, insgesamt nach 13 Minuten und 36 Sekunden, „GHOST FONT“ zurück.
    Daher ist es weder eine Schriftart noch für alle Menschen lesbar, und auch nicht für AI unlesbar. Die Zwischenbilder der Verarbeitung sind unter https://imgur.com/a/SHlGu4O zu sehen.

    • „WRITTEN IN GHOST FONT“ ist ein statischer Ködertext, der nichts mit der eingegebenen Nachricht zu tun hat. Man kann ihn erkennen, wenn man den Bildschirm z. B. mit einem Smartphone lange belichtet fotografiert.