Overture Maps Foundation veröffentlicht den weltweit ersten offenen Kartendatensatz im globalen Maßstab
(overturemaps.org)- Erste offizielle Veröffentlichung eines marktreifen offenen Kartendatensatzes, bestehend aus vier Kern-Layern, der weltweit frei nutzbare kartografische Basisdaten bereitstellt
- Der Layer Places of Interest (POI) enthält Daten zu mehr als 59 Millionen Orten weltweit und schafft damit eine Grundlage für standortbasierte Dienste wie Navigation und lokale Suche
- Mehrschichtige Struktur, die auch Gebäude, Straßennetze und Verwaltungsgrenzen integriert, darunter Buildings, Transportation und Administrative Boundaries
- Alle Layer sind nach dem Overture-Maps-Datenschema formatiert und unterstützen die Erfassung und Nutzung in einem interoperablen Standardformat
- Ein Wendepunkt: Die Kosten für Erfassung und Pflege globaler Kartendaten, die für einzelne Organisationen kaum noch zu stemmen sind, werden durch Zusammenarbeit nach dem Modell eines gemeinsamen Assets adressiert
Überblick zur Veröffentlichung
- Die Overture Maps Foundation (OMF) veröffentlicht mit Overture 2023-07-26-alpha.0 ihren ersten offenen Kartendatensatz
- Besteht aus vier eigenständigen Daten-Layern: Places of Interest (POIs), Buildings, Transportation Network und Administrative Boundaries
- Jeder Layer kombiniert verschiedene offene Kartendatenquellen und wird durch eine Reihe von Qualitätsprüfungen validiert und zusammengeführt (Conflation)
- Veröffentlichung im im Juni 2023 vorgestellten Overture-Maps-Datenschema
- Der Places-Datensatz umfasst mehr als 59 Millionen Orte weltweit und bildet ein Basiselement für Navigation, lokale Suche und verschiedene standortbasierte Apps
- Der Datensatz kann auf der Download-Seite heruntergeladen werden
Zusammensetzung und Hintergrund der Foundation
- Gegründet im Dezember 2022 von AWS, Meta, Microsoft und TomTom
- Derzeit beteiligen sich mehr als ein Dutzend Mapping-, Geospatial- und Technologieunternehmen; als neue Mitglieder sind ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn und Sparkgeo hinzugekommen
- Basiert auf der Prämisse, dass Kartendaten ein gemeinsames Asset sein sollten, das künftige Anwendungen unterstützt
- Mit steigenden Anforderungen an Genauigkeit, Aktualität und Herkunft von Karten übersteigen Kosten und Komplexität der Erfassung und Pflege globaler Kartendaten zunehmend die Möglichkeiten einzelner Organisationen
Details zu den Daten-Layern
-
Places of Interest
- Enthält mehr als 59 Millionen POI-Datensätze, die zuvor nicht als offene Daten veröffentlicht worden waren
- Abgeleitet aus Daten, die die Gründungsmitglieder Meta und Microsoft zur OMF beigesteuert haben, und bietet eine Basislinie für weltweite Ortsdaten
- Künftig sollen verfügbare Ressourcen wie offene Regierungsdaten, crowdsourcte lokale Mapping-Daten und AI/ML-Methoden kombiniert werden, um die Daten kontinuierlich zu verbessern, zu aktualisieren und zu erweitern
- Unter der Lizenz CDLA Permissive v2.0 veröffentlicht, frei nutzbar für Kartenanbieter und Anbieter von Standortdiensten
-
Buildings
- Enthält weltweit mehr als 780 Millionen eindeutige Gebäude-Footprints
- Entwickelt durch die Kombination mehrerer Open-Data-Projekte, darunter OpenStreetMap, von Microsoft AI erzeugte Gebäude-Footprints und Esri
-
Transportation
- Weltweite Darstellung des Straßennetzes, abgeleitet aus OpenStreetMap-Daten
- Von der Community aufgebaute Daten wurden in das Overture-Datenformat überführt; bietet konsistente Segmentierung und ein lineares Referenzsystem (linear reference system)
- Unterstützt das Hinzufügen weiterer Daten wie Geschwindigkeitsbegrenzungen oder Echtzeit-Verkehrsaufkommen
-
Administrative Boundaries
- Globaler offener Datensatz für nationale und regionale Verwaltungsgrenzen
- Ortsnamen sind in mehr als 40 Sprachen übersetzt, um internationale Nutzung zu unterstützen
Datenschema und Interoperabilität
- Alle Layer sind im kürzlich veröffentlichten OMF-Datenschema formatiert
- Entwickelt, damit Entwickler von Kartendiensten Daten auf standardisierte und dokumentierte Weise erfassen und nutzen können; interoperabel
Ziel der Veröffentlichung und weitere Pläne
- Öffentliche Veröffentlichung der Daten, um Feedback aus der Öffentlichkeit einzuholen; Feedback kann über GitHub oder per E-Mail eingereicht werden
- In künftigen Releases sollen neue offene Datenquellen integriert werden
- Weitere Umwandlung der einzelnen Layer in das OMF-Schema
- Geplante Implementierung des Global Entity Reference System, eines stabilen ID-Systems, mit dem Daten konsistent zu Karten-Features hinzugefügt werden können
1 Kommentare
Meinungen auf Hacker News
Overture Maps ist ein Projekt großer Akteure im Geodatenbereich, also TomTom, Amazon, Microsoft usw., ohne Google, die offene Datensätze wie OpenStreetMap zusammen mit ihren eigenen proprietären Daten und Verarbeitungsmethoden nutzen wollen.
Es handelt sich um ein Konsortium, das Geodaten auf Basis offener Daten jeweils mit proprietären Prozessen anreichern und die Ergebnisse anschließend unter dem relativ permissiven Community Database License Agreement - CDLAv2 wieder veröffentlichen will, während die dafür nötigen Quelldaten und Prozesse nicht offengelegt werden.
In der OpenStreetMap-Community wird darüber viel diskutiert, aber insgesamt wird es positiv gesehen, dass so viele Ressourcen in das OSM-nahe Ökosystem fließen.
Problematisch waren sowohl Bearbeitungen durch schlecht bezahlte Auftragnehmer als auch Massenimporte von per KI aus Satellitenbildern extrahierten Inhalten.
Soweit ich wusste, ist OSM so lizenziert, dass bei einer Kombination mit anderen Daten das Ganze unter derselben Lizenz veröffentlicht werden muss.
Bei einer geodatenbasierten Analyse des Zugangs zu medizinischer Versorgung, an der ich gerade arbeite, wäre es zum Beispiel enorm wertvoll, wenn man der Places-Ebene als ziemlich genauer Quelle für Standorte von Leistungserbringern im Gesundheitswesen vertrauen könnte.
CMS-Daten und Daten von Krankenversicherungsplänen zusammenzuführen und dann mit dem OSM-Tiger-Geocoder zu geokodieren, ist viel Arbeit; bereits bereinigte Daten wären da wirklich eine große Hilfe.
Wenn man eine Karte wie Google Maps selbst sucht, kann ich Protomaps sehr empfehlen: https://protomaps.com/
Alle Kartendaten liegen in einem einzigen PMTile-Dateiformat, und über Range Requests auf diese Datei lassen sich die für einen bestimmten Bereich/Zoom benötigten Vektordaten abrufen.
Man könnte zum Beispiel
myfile.pmtilesauf S3 hochladen; eine Lambda-Funktion nimmt x/y/z aus dem Pfad entgegen, fordert den richtigen Bereich an, und CloudFront cached die Tile-Antworten.Danach kann man einfach
tiles.mydomain.comoder die CloudFront-Domain verwenden und im Frontend mit etwas wie Leaflet die Tiles abrufen und rendern.In Leaflet nutzt man das Protomaps-Plugin/die Protomaps-Library und übergibt eine URL wie
"[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>)"; dabei entspricht20230408der Datei20230408.pmtilesim S3-Bucket.Außerdem ist gut, dass man eine neue pmtiles-Datei in den Bucket legen und den Client auf die neue Quelle aktualisieren kann; weil die Tiles im Vektorformat vorliegen, kann der Client sie nach Wunsch themen.
Man muss nicht zwingend das globale Tileset mit über 100 GB verwenden; mit Tools desselben Entwicklers kann man auch nur bestimmte geografische Bereiche herunterladen: https://app.protomaps.com/downloads/small_map
Die
.pmtiles-Datei ist etwas über 100 GB groß, aber das gesamte Setup lief in höchstens ein bis zwei Stunden, und die Betriebskosten dürften deutlich niedriger sein als bei Google Maps.Sie scheint bei einem beliebigen Zoomlevel aufzuhören, sodass Details fehlen, die mir bei der Bewertung dieser Lösung wichtig wären.
Wenn man sich durch das GitHub-Repository gräbt, findet man https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu...; das ersetzt Google Maps zwar nicht vollständig, ist aber zumindest detaillierter.
Ich frage mich, ob es eine einfache Möglichkeit gibt, mit MVT-Karten Tiles on the fly zu erzeugen, ein CGI-Backend plus Caching dranzuhängen und sie dann mit Leaflet zu rendern.
Ich habe ein kleines persönliches Karten-Renderer-Projekt mit Leaflet; aktuell nutze ich Tile-Quellen von Google, OSM und Esri, aber mehr Quellen wären schön.
„Administrative Grenzen: ein globaler offener Datensatz nationaler und regionaler Verwaltungsgrenzen, einschließlich Gebietsnamen, die zur Unterstützung internationaler Nutzung in mehr als 40 Sprachen übersetzt wurden“ – das könnte interessant werden.
Wenn ich mich richtig erinnere, hat Google Maps, um nicht in Konflikte hineingezogen zu werden, die Darstellung von Grenzen je nach Perspektive des Ortes geändert, von dem aus die Karte angefragt wurde.
In vielen Ländern ist es strafbar, Grenzen nicht „korrekt“ darzustellen.
Quelle dazu: https://qz.com/224821/see-how-borders-change-on-google-maps-...
Wenn man nicht Nutzer im Millionenbereich hat, ist es wahrscheinlich, dass sich selbst innerhalb solcher Länder niemand dafür interessiert.
Es ist gut, dass die Daten bereitgestellt werden, aber wenn man sie tatsächlich abrufen will, wirkt es so, als seien sie möglichst kompliziert verdreht worden.
Dass man DuckDB verwenden muss, um sie zu importieren – ich verstehe nicht, warum nicht einfach MySQL-Dump-Dateien unterstützt werden.
Warum Nutzer DuckDB haben müssen und ob DuckDB wirklich so verbreitet ist, ist mir ebenfalls fraglich.
Der bereitgestellte Link funktioniert auch nicht, sodass es nichts wirklich Nutzbares zu geben scheint, und ich weiß nicht, wie man das verwenden soll.
Außerdem werden Amazon S3 und so etwas wie eine nicht standardisierte Abfragesprache für den Zugriff darauf verlangt, was ich nicht nachvollziehen kann.
Ich werde damit sicher nicht allein sein; das Ganze sollte universeller nutzbar sein als in der jetzigen Form.
Wenn AWS oder Azure wollten, gäbe es nichts, was sie daran hindern würde, für den betreffenden Bucket
s3:Getunds3:Listzu öffnen und damit unauthentifiziertes Lesen zu ermöglichen.Als Mitwirkender bei AllThePlaces interessiert mich dieses Thema: https://www.alltheplaces.xyz/
AllThePlaces ist ein Open-Source-Projekt, das Scrapy-Spider für das Crawlen von Websites von Franchises und Einzelhandelsketten sammelt, wie sie im name-suggestion-index vorkommen könnten; Standortdaten werden unter der CC-0-Lizenz gesammelt: http://nsi.guide/
Aus fast 1700 Spidern werden etwas weniger als 3 Millionen Points of Interest gesammelt.
Overture Maps wirkt wie ein ziemlich geschlossenes und proprietäres Projekt; seine Offenheit scheint sich auf die Behauptung zu beschränken, dass man den Datensatz und die Schema-Spezifikation herunterladen kann.
Zunächst gibt es keine öffentliche Erklärung dazu, wie die Daten erzeugt wurden, sodass Endnutzer kaum Gewissheit über Genauigkeit und Vollständigkeit bekommen.
Verwaltungsgrenzen sind furchtbar komplex; dazu gehören umstrittene Grenzen, erhebliche Unschärfen bei Grenzdefinitionen sowie Abwägungen zwischen der Performance von Algorithmen, die Verwaltungsgrenzdaten verwenden, und der Grenzpräzision.
Es ist nicht ersichtlich, welcher Grenzdefinition Overture Maps folgt oder ob mehrere Definitionen unterstützt werden können.
Microsoft könnte geografische
ld+json-/Mikrodaten aus dem Internet-Crawling von BingBot beigesteuert haben; diese Daten sind berüchtigt ungenau: Felder sind durcheinandergeraten oder falsch wiederverwendet, Webseiten bleiben bestehen, obwohl Feldnamen „CLOSED“ enthalten, um anzuzeigen, dass ein Laden vor fünf Jahren geschlossen wurde, und Angaben zu Öffnungszeiten sind ebenfalls sehr vage.Bei AllThePlaces gibt es viele Spider, bei denen Menschen ziemlich komplexe Entscheidungen treffen müssen, um die chaotischen Daten zusammenzuführen, die Organisationen wie Laden- oder Restaurant-Franchises auf ihren Websites veröffentlichen.
Selbst bei Standortinformationen, die womöglich eine Genauigkeit und Präzision von ±1–5 m benötigen, etwa bei einzelnen Geschäften in Einkaufszentren, liefern autoritative Quellen Daten üblicherweise mit 1 mm Präzision und ±10–100 m Genauigkeit.
Auch AllThePlaces, Overture Maps und Google Maps brauchen weiterhin menschliche Editoren, die vor Ort recherchieren – also OpenStreetMap-Editoren –, um genaue Positionen zu setzen und Standortdefinitionen zu standardisieren.
Es braucht auch Definitionen wie: Soll ein Punktstandort als Mittelpunkt des größten regelmäßigen Polygons verstanden werden, das in ein unregelmäßiges Gesamtpolygon passt, als Schwerpunkt einer ebenen Platte oder als Position des Haupteingangs?
Wenn Overture Maps bei Ortsdaten auf BingBot angewiesen ist, wird es eine enorme Zahl von Points of Interest verpassen, die BingBot niemals findet.
Zum Beispiel gibt es Fälle, in denen undokumentierte REST-/JSON-/GraphQL-API-Aufrufe oder Änderungen an den Parametern beobachteter Store-Locator-API-Aufrufe nötig sind, damit alle Standorte und zugehörigen Felder zurückgegeben werden.
Webentwickler tun häufig dumme Dinge, etwa in
robots.txtzu verlangen, dass man mehr als 1 GB und 10.000 Seiten aus einer seit fünf Jahren nicht aktualisierten Sitemap crawlt, während sie zehn schnelle API-Aufrufe zum Abrufen von 5 MB aktueller Daten verhindern.Da AllThePlaces-Daten CC-0 sind, kann Overture Maps sie frei verwenden und sie auch mit anderen Quellen abgleichen, etwa BingBot-Crawling-Daten, Regierungsdatenbanken zu genehmigten Gewerbebetrieben oder geokodierten Postadressdaten.
Die Unordnung in Daten aus mehreren Quellen dürfte jedoch fast ein Niveau erreichen, das selbst für Menschen kaum noch abzugleichen ist; Overture Maps muss möglicherweise entscheiden, ob es Duplikate in Kauf nimmt oder auf Vollständigkeit verzichtet.
Außerdem gibt es keine öffentlichen Werkzeuge, mit denen andere dieselben Daten reproduzieren könnten.
Nutzer von AllThePlaces werden häufig von Internet-zerstörenden Drittanbietern wie Cloudflare und Imperva, maßgeschneidertem Geo-Blocking und gelegentlich überzogenen Rate-Limiting-Mechanismen ausgebremst.
Wenn Overture Maps auf BingBot-Crawling setzt, hätte es gegenüber AllThePlaces einen leichten Vorteil, weil Cloudflare, Imperva, Kunden-Firewalls usw. BingBot absichtlich durchlassen; um jedoch weltweit möglichst viele Points of Interest zu erfassen, werden zunehmend IP-Bereiche privater ISPs und Software zur Umgehung von Bot-Erkennung nötig.
Man braucht Menschen in Dutzenden Ländern und muss Websites für jedes Land aus dem Adressraum privater ISPs dieses Landes crawlen.
Andernfalls endet man mit einer US-amerikanischen Weltsicht, einer europäischen Weltsicht oder irgendetwas anderem, aber nicht mit dem Gesamtbild.
Wenn Overture Maps wegen Problemen bei der Datenbereinigung oder wegen schlechter, vielleicht nicht autoritativer Quellen Standorte bestimmter Franchises/Marken falsch führt, gibt es kein Software-Repository, in dem diese Franchise/Marke ein Issue eröffnen oder einen Patch einreichen könnte.
Beispiel eines australischen Einkaufszentrums, das AllThePlaces erfasst hat: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...
Overture wurde geschaffen, damit private Unternehmen öffentliche Daten wie OpenStreetMap nutzen und zugleich mit ihren proprietären Daten und Prozessen kombinieren können.
Die Absicht ist, die Ergebnisse unter einer neuen, relativ freizügigen Lizenz namens Community Database License Agreement zu teilen, Prozesse und zugrunde liegende Daten aber proprietär zu halten.
Hier gibt es auch eine offensichtliche PR-Verpackung.
Solche Karten werden offenbar als „vertrauenswürdige“ oder „offizielle“ Grundlage präsentiert und sollen als Entscheidungsbasis für datengetriebene Aktivitäten dienen, die zwar nicht Handel, Sicherheit, Versicherungsansprüche oder Security betreffen, aber dennoch wertvoll sind.
Es ist fraglich, welche Abhilfemöglichkeiten die Öffentlichkeit oder öffentliche Kontrolle hier haben kann.
Das GitHub-Repository ist hier: https://github.com/OvertureMaps/data
Die Lizenz wirkt sehr permissiv, und auch wenn ich den aktuellen Stand des offenen Karten-Ökosystems nicht besonders gut kenne, scheint mir die Idee von GERS ebenfalls gut zu sein.
https://docs.overturemaps.org/gers/
Interessanterweise verwenden zwei der vier Layer ODbL.
Unklar ist, wie Overture hier OSM-Daten lizenzwaschen können soll.
Dort heißt es: „Verkehr: Der Verkehrs-Layer von OMF stellt ein weltweites Straßennetz dar, das aus Daten des OpenStreetMap-Projekts abgeleitet wurde. Diese von der Community aufgebaute Datengrundlage wurde in das Overture-Datenformat umstrukturiert und bietet eine konsistente Datenaufteilung sowie ein lineares Referenzsystem zur Unterstützung zusätzlicher Daten wie Tempolimits oder Echtzeitverkehr.“
Die ODbL von OSM ist sehr eindeutig darin, dass OSM-Mitwirkende genannt werden müssen.
Ich kann mir schwer vorstellen, dass CDLA Permissive v2.0 Overture auf magische Weise erlaubt, das zu umgehen.
Korrektur: Ich hatte übersehen, dass je nach Dataset unterschiedliche Lizenzen verwendet werden.
Das Theme „transport“ steht unter ODbL, daran werden unvorsichtige Nutzer ganz sicher stolpern.
Die CDLA-Lizenz ist permissiv: https://cdla.dev/permissive-2-0/
Nach meinem Verständnis geht es nicht darum, die OSM-Nennung zu vermeiden, sondern die aus OSM stammenden Teile mit OSM-Nennung und -Lizenz beizubehalten und den Rest unter CDLA 2.0 zu lizenzieren, damit ihn alle nutzen können.
Im Artikel steht ausdrücklich, dass die CDLA-Lizenz für von Meta und Microsoft bereitgestellte Daten gilt, nicht für OSM-Daten.
Es ist schade, dass Meta und Microsoft ihre Daten nicht zu OSM beitragen und sie stattdessen unter einer anderen Lizenz veröffentlichen, aber so läuft die Welt nun mal.
Großartig.
Irgendwann wird Google vermutlich versuchen, aus Maps noch mehr Umsatz herauszuholen als heute, und dann werden solche kollaborativen Kartensysteme wirklich an Bedeutung gewinnen.
Es wäre schön, wenn es eine Möglichkeit gäbe, zu finanzieren, dass Leute Satellitenbilder kaufen und sie dann in solche Systeme einspeisen.
Sunnyvale zum Beispiel hat viel Geld für Stadtbilder bezahlt, die bei Diskussionen über Verkehr, Flächennutzung usw. verwendet werden; es wäre gut, wenn solche Bilder in ein öffentliches Dataset einfließen könnten.
Wenn ich mich richtig erinnere, nutzt auch Google in seinen Produkten Bilder im Besitz von Kommunen.
Eine einzelne Stadt ist vielleicht keine Quelle, die für Google groß genug ist, um sich darum zu kümmern, aber besonders in Europa habe ich beim Betrachten von Bildern schon Copyright-Hinweise nationaler oder regionaler Behörden gesehen.
Allerdings gibt es heute viele Quellen für Satellitenbilder, sodass Google vielleicht nicht so hungrig nach neuem Material ist.
Die kommerziellen Anbieter, mit denen Google zusammenarbeitet, fotografieren vermutlich das gesamte US-Festland etwa alle 12 Monate.
Größer scheint die Nachfrage nach Luftbildern für sehr hohe Zoomstufen zu sein.
Ich bin kein Geodaten-Experte, aber solche Bilder werden offenbar zusammen mit visuellen Daten mit Dingen wie LIDAR oder multispektralen Bildern kombiniert, um Höhenkarten zu erstellen, und die Erfassung scheint ziemlich teuer zu sein.
Was ist der Unterschied zwischen diesem Projekt und OpenStreetMap?
Sie umfasst alle möglichen Details, von Straßen, Geschäften und Flüssen bis hin zu Sehenswürdigkeiten, Wanderwegen und Krankenhäusern.
Jeder kann beitragen, und aus der Sicht von jemandem, der ziemlich viel mit OSM zu tun hatte: Wenn man etwas auf die Karte bringen möchte, besonders in der eigenen Umgebung, ist man willkommen.
Overture ist eine neue Gruppe von Unternehmen, die einige Datasets unter offenen Lizenzen veröffentlicht, während die Methoden, mit denen sie erstellt wurden, proprietär bleiben.
Ein Teil der veröffentlichten Daten gehört ihnen selbst, viele Datasets sind jedoch neu verpackte OpenStreetMap-Daten.
Overture versteht sich nicht als Community einzelner Karteneditoren, sondern als datenzentriertes Kartenprojekt und soll daher OSM ergänzen.
Es kombiniert OSM mit anderen Quellen, um neue offene Kartendatasets zu erstellen, und Overture-Daten werden unter kompatiblen offenen Datenlizenzen bereitgestellt, sodass die OpenStreetMap-Community sie nutzen kann.
Overture-Mitglieder werden ermutigt, direkt zu OSM beizutragen.
In der Nähe meines Hauses gibt es einen Schotterweg, den vielleicht 20 Menschen pro Tag nutzen, und wegen Bauarbeiten in der Nähe wurde ein Teil des Weges um ein paar Meter verlegt.
OSM spiegelte diese neue Realität schon am nächsten Tag wider.
Hat das schon jemand in BigQuery geladen?
Ich weiß, dass hier gerade eine „Buh, Google“-Stimmung herrscht, aber ich möchte die Daten einfach mit ein paar anderen Tabellen joinen, die ich in BigQuery habe.
Ich frage mich, ob es so etwas wie eine Community-BigQuery gibt, die ich nutzen kann, statt einen eigenen Import zu pflegen.