Volltextsuche für ganz New York City
(alltext.nyc)- Mehr als 8 Millionen Bilder aus Google Street View wurden per KI analysiert, um 138 Millionen Straßen-Textelemente zu extrahieren
- Daraus wurde eine durchsuchbare Datenbank von Straßenbeschriftungen in NYC aufgebaut und eine Suchmaschine erstellt
- Das Werk des Medienkünstlers Yufeng Zhao visualisiert damit die räumliche Verteilung bestimmter Wörter (z. B. pizza, Broadway, luxury, beware, gold, iglesia, jerk usw.) auf einer Karte und macht kulturelle, kommerzielle und regionale Merkmale sichtbar
- Ein Experiment, das die Straßenlandschaft von NYC als eine Art „Source Code“ liest, und zugleich eine neue Form der Erkundung von Stadtdaten
Projektüberblick
- Ziel: Sichtbaren Text in ganz NYC sammeln und durchsuchbar machen
- Datenquelle: Google Street View (2007–2025, über 8 Millionen Bilder)
- Technik: Texterkennung in Bildern (OCR), Zuordnung von Positionskoordinaten
- Einschränkung des Umfangs: Enthalten ist nur Text im sichtbaren Bereich von Straßen, die von Fahrzeugen erfasst werden können (Gassen, Parks und kleine Schrift ausgeschlossen)
Wichtige Visualisierungsbeispiele
- Pizza: Verteilung von Pizzerien in ganz NYC
- Broadway: Alle Broadway-Markierungen in sämtlichen Boroughs und Gebiete mit hoher Theaterdichte
- Luxury: Werbetexte für neue Wohnanlagen, mit Schwerpunkt im Gebiet Hudson Yards
- Beware: Konzentration in Wohngebieten am Stadtrand mit Häusern und Zäunen, in Manhattan fast nicht vorhanden
- Gold: Diamond District und Straßen mit Geschäften für Goldankauf
- Iglesia: Standorte von Kirchen in spanischsprachigen Communities
- Jerk: Gebiete Flatbush und Jamaica mit vielen jamaikanischen Restaurants
- Unisex: Geografische Verteilung von kombinierten Barber- und Friseursalons
Interessante Textbeispiele
- Fedders: Logo einer Built-in-A/C-Marke aus den 1950er bis 1990er Jahren, das Phänomen der „Fedders house“
- Yodock: Markenname für Kunststoff-Barrieren auf Gehwegen an Baustellen
- 4Cars (Acars): Illegal angebrachte Ankaufswerbung für Gebrauchtwagen, OCR-Fehlerkennung
- Sabrett: Kultmarke der typischen NYC-Hotdog-Stände, Verteilung in Touristengebieten
- Halal: Verkaufsstellen und Wagen für halal zubereitetes Essen, seit den 1980er Jahren Teil der urbanen Esskultur
- Siamese: Bezeichnung für einen Typ von Feuerwehrschlauch-Anschlussstück
- Surveillance: Hinweisschilder zu Überwachungskameras in öffentlichen und privaten Einrichtungen der ganzen Stadt
Interpretation und Bedeutung
- Das Projekt interpretiert die Stadt als textbasierte Karte neu und macht Spuren von Kommerz, Kultur, Sicherheit und Infrastruktur visuell sichtbar
- Die geografische Verteilung bestimmter Wörter ist eng mit Kulturräumen, Branchen und sozialen Merkmalen verbunden
- Wörter rund um Warnung und Überwachung spiegeln die Sicherheits- und Kontrollkultur von NYC sowie die Dokumentierbarkeit des öffentlichen Raums wider
- Die Daten eignen sich nicht nur für Visualisierung, sondern auch als Material für Forschung zu Stadtgeschichte, Soziologie und Branding
4 Kommentare
Der Text ist ziemlich halluziniert.
"all text in nyc" ist eine Suchmaschine, die Text in den Google-Street-View-Bildern von New York City findet. Suche nach einem beliebigen Wort oder Ausdruck, um zu sehen, wo er in der ganzen Stadt erscheint – auf Ladenschildern, Graffiti, Werbeanzeigen und Protestschildern.
Die eigentliche Website ist eine Seite, die Street View vollständig per OCR verarbeitet, damit man nach bestimmten Wörtern suchen kann.
Es wurde korrigiert.
Wirklich interessant, aber wenn man bedenkt, dass das nicht von der Regierung und auch nicht von einem Unternehmen wie Google gemacht wurde, ist es irgendwie beängstigend.
Man merkt, dass die Welt von Daten überflutet ist
Hacker-News-Kommentare
Auch dieser Artikel über die Seite ist wirklich interessant: The Puddings Street-View-Projekt
The Pudding gehört derzeit zu den besten Inhalten, die man im Internet finden kann.
Ich habe es ganz oben ergänzt.
Auf YouTube gibt es Leute, die Videos aufnehmen, während sie durch verschiedene Städte laufen. Persönlich mag ich besonders Videos vom Laufen durch Tokio/Japan. Ich denke, es wäre auch spannend, aus solchen Videos 3D-Karten zu erstellen. Das ist nicht mein Fachgebiet, aber ich vermute, dass es Firmen gibt, die das bereits versucht haben. In solchen Videos steckt enorm viel Datenmaterial. Vielleicht ließe sich das sogar kostenlos für das Training von Robotern nutzen, etwa Lieferrobotern, die sich durch Menschenmengen bewegen.
Technisch wäre das wohl eine Kombination aus SLAM, Photogrammetrie und VIO, aber ohne IMU müsste man diesen Teil aus dem Video schätzen. Dafür dürften Frames und Lichtflackern allerdings zu schnell sein.
Beispiel-Links: Tokio-Straßenspaziergang, noch ein Beispiel
Ähnlich dazu wäre ein Tool, das aus Standbildern wie Immobilienfotos Grundrisse rekonstruiert, wirklich nützlich. Selbst wenn teilweise manuelle Eingaben nötig wären, wäre es brauchbar.
Früher gab es jemanden, der auf YouTube Videos drehte, während er durch Tokios Elektronikviertel lief. Überraschenderweise befanden sich einige der besten Orte, um Smartphones oder Roboterteile zu kaufen, in völlig unscheinbaren Gebäuden, die man ohne echtes lokales Wissen nie gefunden hätte. Wenn das wie vorgeschlagen tatsächlich umgesetzt würde, wäre das für Reisende eine enorme Hilfe beim Auffinden solcher Orte. Das würde ich unbedingt gerne sehen.
Ich fände es wirklich spannend, wenn die Google-Maps-Suche um so eine Funktion erweitert würde. Oft habe ich das Gefühl, dass Google Maps beim Auffinden von Informationen unzureichend ist. Kürzlich habe ich im Süden von Gran Canaria nach Orten gesucht, die handgebrühten Kaffee anbieten, und am Ende gab es nur ein einziges Café in einem Hotel, dessen Auffinden 30 Minuten gedauert hat. Ich suche meist mit Begriffen wie „pourover“ oder „v60“, aber wenn Cafés das in Beschreibung oder Bewertungen nicht ausdrücklich erwähnen, ist es schwer zu finden. Es wirkt auch nicht so, als würde Text in von Kunden aufgenommenen Fotos, zum Beispiel auf Speisekarten, überhaupt indexiert.
Wenn man nach V60 sucht, würden wahrscheinlich größtenteils Volvo-Fahrzeuge auftauchen, aber ich frage mich, wie viele Fotos es tatsächlich aus Cafés gibt, auf denen solche Wörter zu sehen sind.
Falls Coffeeshops bisher nicht auf solche Begriffe geachtet haben, sollten sie jetzt vielleicht darüber nachdenken. Ehrlich gesagt werde ich diese Seite vermutlich auch noch einmal besuchen.
Ich schreibe das, weil mich das GitHub der Person interessiert, die die Daten vorbereitet hat. Mich würde interessieren, wie viele Rechenressourcen für die Analyse der New Yorker Daten nötig waren. Ich würde so etwas gern auch für meine Stadt ausprobieren, aber mein Budget wäre vermutlich viel zu klein. Siehe yz3440 GitHub (die Kommentare weiter unten haben recht: Tatsächlich müsste man sich weniger um die Rechenleistung sorgen als um die Google-Maps-API-Kosten. Wenn man es kostenlos machen wollte, hätte selbst der Autor wohl Jahre gebraucht. Ich beneide das Budget des Autors.)
Ich würde erwarten, dass die OCR-Rechenkosten günstig sind. Mit einem leistungsfähigen Heim-PC dürfte eine Nacht oder eine Woche ausreichen. Das Problem sind die Gebühren für die Google Maps API. Wenn das nicht als Kunstprojekt anerkannt und von den Gebühren befreit wird, ist es eine erhebliche Belastung. Maps-Platform-Preise ansehen Bei Großstädten mit vielen Panoramen kostet es oberhalb des Free Tiers mehrere Tausend Dollar.
Laut dem Artikel wurden 8 Millionen Panoramen verwendet, was allein mit der Street View API etwa 30.000 Dollar gekostet haben dürfte (mit der Static Image API wäre es wegen der geringeren Auflösung vermutlich doppelt so teuer gewesen). OCR dürfte viel günstiger sein, wenn es nicht eilt. Zum Beispiel könnte ein normaler GPU-Server mit PaddlePaddle 4 MP pro Sekunde verarbeiten. Mit Hardware im Wert von ein paar Tausend Dollar ließe sich das wohl in 3 bis 6 Monaten erledigen (je nach Auflösung und Modellgröße).
Bei 8 Millionen Bildern entspricht das über eine Woche gerechnet 13,2 Bildern pro Sekunde. Ich frage mich, ob die Daten über die Google API abgegriffen wurden oder ob es eine Zusammenarbeit mit Google gab.
Nach einer Rechnung mit Claude würde das vollständige Abgreifen von Straßenbildern in Taipeh über die gmap api in 3-Meter-Abständen etwa 8.000 Dollar kosten. Teuer, aber kein unmöglicher Betrag.
Ich finde es interessant, dass Schimpfwörter wie „fuck“ zensiert werden. Ich weiß nicht, ob es das Gehirn tatsächlich beeinflusst, absichtlich die ausgeschriebene Form zu lesen.
In den echten Fotos kann man das Wort finden. Vielleicht ist es irgendwo in der StreetView-Version separat zensiert, falls das der Fall ist.
Wahrscheinlich liegt es an SEO oder familienfreundlichen Richtlinien oder an beidem. Zur Einordnung: Auch auf YouTube gibt es das Verbot von Schimpfwörtern in der ersten Minute eines Videos.
Wenn man nach „Fool“ sucht, gibt es wegen OCR-Fehlern enorm viele falsche Treffer, etwa durch Verdeckungen. Beispiel-Suchergebnisse „Surgery of the Fool“ ist das Beste.
Das scheint sehr nützlich für OSINT (Open Source Intelligence) zu sein. Ich frage mich, ob Geheimdienste so etwas nicht längst im Weltmaßstab haben.
Wirklich ein cooles Projekt. Mit Embeddings wie CLIP wäre es zehnmal cooler, wenn nicht nur Textsuche, sondern auch semantische Vektorsuche nach Dingen wie „Menschen, die sich schlagen“, „Katze und Hund“, „roter Tesla“, „Clown“ oder „Kind mit Welpe“ möglich wäre.
Es gibt auch die verwandten Projekte All Text in NYC und All text in Brooklyn.
Das erinnert mich an einen Dienst namens NY Cerebro. Dort ist semantische Suche über Hunderte öffentliche Straßenkameras in New York möglich. nycerebro.vercel.app (zum Beispiel Suche nach „scaffolding“)
Ich war überrascht, wie niedrig die Auflösung der öffentlichen Straßenkameras ist. Zusammen mit den Reflexionen von Autoscheinwerfern ist das nicht besonders überzeugend.
Dieser Dienst war früher ein Projekt, das bei einem Hackathon von NVIDIA und Vercel den ersten Platz gewonnen hat.