- Der Bereich Data Engineering steht unter doppeltem Druck durch die Verbreitung von AI und die Anhäufung technischer Schulden, was die Polarisierung weiter verschärft
- Das Niveau der AI-Nutzung wird zum Kern der Wettbewerbsfähigkeit; der alltägliche Einsatz wird selbstverständlich, sodass die Bezeichnung „AI-gestützt“ selbst verschwinden dürfte
- Die Bedeutung von Datenmodellierung und semantischer Schicht nimmt stark zu, die Nachfrage nach entsprechender Weiterbildung steigt und Tool-Integration sowie Automatisierung beschleunigen sich
- Der Markt für Orchestrierungs-Tools könnte sich von Airflow als Zentrum hin zu Tools der nächsten Generation wie Dagster und Prefect bewegen oder in Plattformen aufgehen
- Fehlende Führung und organisatorische Ineffizienz werden als größter Engpass genannt; wichtiger als Technik wird der Aufbau organisatorischer Fähigkeiten zum entscheidenden Faktor fürs Überleben
Der allgemeine Kurs des Data Engineerings
- Seit Langem bestehende Probleme wie fehlende Führung, unklare Zuständigkeiten, technische Schulden und Zeitdruck sind weiterhin ungelöst
- Die Beschleunigung durch AI verschärft diese Probleme einerseits, eröffnet in manchen Bereichen aber auch Chancen auf Verbesserung
- Die Kluft zwischen Teams, die in Grundkompetenzen investiert haben, und solchen, die das nicht getan haben, wird größer
- Das Fehlen von Datenmodellierung ist ein zentrales Problem; 38 % der Teams ohne Modellierung sind ständig mit der Reaktion auf häufige Probleme beschäftigt
- Teams mit etablierten Modellierungsstrukturen haben dagegen weniger Vorfälle
- Das Kernthema für 2026 lautet, dass „die Schulden der Vergangenheit mit hohen Zinsen zurückkommen“; der Druck zum Abbau technischer Schulden nimmt zu
1. Wer AI ignoriert, wird kaum überleben
- 82 % der Befragten nutzen AI täglich; damit ist sie bereits zu einer Grundvoraussetzung geworden
- 64 % verbleiben auf experimenteller oder taktischer Ebene, 10 % haben AI vollständig in ihre Workflows integriert
- Es wird erwartet, dass Letztere den Abstand schnell vergrößern werden
- Bis Ende 2026 dürfte die Formulierung „AI-gestützt“ so selbstverständlich geworden sein, dass sie aus Stellenbeschreibungen verschwindet
- Die Bedeutung der Datenmodellierung bleibt jedoch weiterhin bestehen
2. Die Krise der Datenmodellierung und die semantische Schicht
- 89 % haben Probleme im Zusammenhang mit Datenmodellierung, nur 5 % nutzen semantische Modelle
- Es werden zwei Wege skizziert
- Weg A: Semantische und kontextuelle Schichten setzen sich im Mainstream durch
- Weg B: AI erzeugt Modelle spontan, wodurch der Bedarf an semantischen Schichten sinkt
- Es wird davon ausgegangen, dass sich zuerst Weg A verbreitet und später möglicherweise durch AI-Modelle ersetzt wird
- Tooling für semantische Schichten und Ontologien gilt als möglicher Durchbruch 2026; die Nachfrage nach Weiterbildung zu Modellierung und Semantik liegt jeweils bei 19 %
3. Integration oder Verschwinden der Orchestrierung
- 20 % aller Unternehmen nutzen keine Orchestrierungs-Tools, was als instabiler Zustand bewertet wird
- Einige verlassen sich auf manuelle Prozesse oder informelle Tools wie
cron
- Airflow und Cloud-native Orchestrierung bilden den Mainstream,
- Dagster liegt bei 12 % in kleinen und mittleren Unternehmen, aber nur bei 2,6 % in Großunternehmen und zeigt damit eher eine Bottom-up-Verbreitung als eine Top-down-Diffusion
- Orchestrierung für AI-Agenten befindet sich noch in einem unsicheren Stadium
- Als mögliche Zukunftsszenarien werden ein Eintritt von Dagster und Prefect in den Enterprise-Markt oder eine Plattformintegration (Databricks, Snowflake, dbt Cloud usw.) genannt
4. Das Ende der Debatte Lakehouse vs. Warehouse
- Der aktuelle Anteil liegt bei Warehouse 44 %, Lakehouse 27 %, Hybrid 12 %
- Bis 2027 könnte sich das auf 35 % / 35 % / 30 % annähern
- Durch die funktionale Annäherung von Snowflake und Databricks dürfte die Unterscheidung „Lakehouse“ nach und nach an Bedeutung verlieren und standardisiert werden
- Die Lakehouse-Adoptionsrate von 40 % in Lateinamerika gilt als wichtiger Frühindikator
- Ende 2026 könnte die Debatte „Warehouse vs. Lakehouse“ als überholtes Thema gelten
5. Führung wird zum größten Engpass
- 22 % der Data Engineers nennen fehlende Führung als Hauptproblem,
- was fast dem Niveau von technischen Schulden (26 %) entspricht
- Auch mangelhafte Anforderungen (18 %) treten hervor und spiegeln organisatorische Ineffizienz wider
- Im Boom der AI-Einführung werden Selbstreflexion der Führung und Verbesserungen im Organisationsdesign zu zentralen Aufgaben
- 2026 wird voraussichtlich die Menge an Inhalten und Weiterbildungen zu Data Leadership, Stakeholder-Management und Organisationsdesign zunehmen
Bonus-Trend: Das Verschwinden einiger Teams
- 7 % der Teams erwarten einen Personalabbau, davon nennen 30 % fehlende Führung als Engpass
- Das ist kein durch AI getriebener Effizienzgewinn, sondern ein Abbau aufgrund organisatorischer Defizite
- 2026 könnten einige Datenteams aufgelöst, in Engineering-Abteilungen integriert oder ausgelagert werden
- Nur Teams, die ihren geschäftlichen Wert nachweisen, werden überleben; reine technische Kompetenz allein ist auf Dauer nicht ausreichend
Fazit
- Der Kern des Data Engineerings im Jahr 2026 ist nicht die Auswahl von Tools, sondern die organisatorische Umsetzungsfähigkeit
- Fähigkeiten im Umgang mit AI, Strukturen für Datenmodellierung und die Qualität der Führung werden zu den Maßstäben für das Überleben
- Mehr als technologischer Fortschritt werden organisatorische Reife und Kollaborationsstrukturen über Wettbewerbsvorteile entscheiden
Noch keine Kommentare.