Ich habe ein Semantic-Model-Register erstellt.

Hallo. Da es mein erster Beitrag hier ist, zittern mir beim Schreiben ein wenig die Hände.

Ziel

Dieser Service entstand aus einer Idee, die mir beim Lesen des Beitrags https://de.news.hada.io/topic?id=26967 [ Data Engineering nach AI ] kam.
Er soll sich auf das OSI-Format konzentrieren und es ermöglichen, verschiedene Semantic-Model-Formate zu importieren, zu exportieren und zu durchsuchen.

Warum ich das gebaut habe

Ich hatte den Eindruck, dass derzeit immer mehr über Semantic Models gesprochen wird. In diesem Prozess ist das von mehreren Unternehmen gemeinsam abgestimmte Format OSI (Open Semantic Interchange), und vor Kurzem wurde Version 1.0 veröffentlicht.

Ob es wirklich zum Standard wird, ist noch offen. Dennoch wollte ich zur Lösung der Supply Chain beitragen, bevor die Nachfrage überhaupt entsteht, und so zu einem internationalen Projekt beitragen. (Allerdings habe ich die Frage, ob es im Bereich des Teilens semantischer Assets tatsächlich Nachfrage gibt, fürs Erste etwas beiseitegeschoben.)

Funktionen

Die Entwicklung ist in drei Bereiche aufgeteilt: Python SDK, CLI und Web; alle bieten dieselben Funktionen.

• Bestehende Semantic Models wie dbt metric flow sollen importiert und in das OSI-Format umgewandelt werden können, ebenso auch umgekehrt.
  Dabei denke ich natürlich auch darüber nach, wie sich Kontext ergänzen lässt, der im Umwandlungsprozess verloren geht.
• Außerdem soll es nicht bei einer einfachen Suche bleiben: Nach der Suche möchte ich zusätzliche Komfortfunktionen anbieten, etwa eine Vorschau sowie die einfache Einsicht in Measures, Dimensions usw.
• Wenn bereits existierende Semantic Layers auf GitHub indexiert wurden, gibt es außerdem eine Funktion, mit der man sie claimen und als eigene Veröffentlichung übernehmen kann, sofern der ursprüngliche Autor und die GitHub-ID übereinstimmen.

Stack

Für die Suche habe ich OpenSearch verwendet, für das Infrastrukturmanagement Terraform und für das Backend FastAPI.

---

Ich freue mich auf euer Feedback.