- Der Traum, Datenanalyse-Entwickler zu ersetzen, wiederholt sich seit 50 Jahren – von SQL bis AI. Die Tools haben sich verändert, aber der Bedarf an Experten ist nicht verschwunden
- Die Tools jeder Epoche haben die tatsächliche Produktivität erhöht, doch die Kernaufgaben – Geschäftsverständnis und Modellierungsentscheidungen – wurden nicht automatisiert
- Self-Service, Semantic Layer und Analytics Engineering haben den Zugang erweitert, aber neue Formen spezialisierter Rollen geschaffen
- AI-basierte Tools haben die Geschwindigkeit der Code-Generierung stark erhöht, aber der Denkprozess, zu entscheiden, was gebaut werden soll, bleibt Aufgabe des Menschen
- Der Engpass in der Datenarbeit liegt nicht beim Tippen oder bei Tools, sondern beim Denken und Urteilen – eine Tatsache, die sich seit 50 Jahren nicht verändert hat
- Dieser Text ist eine auf den Datenbereich übertragene Zusammenfassung, inspiriert von „Der Traum vom Entwickler-Ersatz, der sich alle zehn Jahre wiederholt“
Das wiederkehrende Muster: Warum taucht immer derselbe Traum auf?
- Alle zehn Jahre erscheint ein neues Tool, das verspricht, den Aufbau von Datenplattformen zu vereinfachen und die Abhängigkeit von Experten zu verringern
- Unternehmen sind unzufrieden mit der langsamen Bereitstellung von Daten, während Datenteams von endlosen Anfragen überrollt werden
- Dass sich dieser Kreislauf seit 50 Jahren wiederholt, liegt in der grundlegenden Natur analytischer Datenarbeit
1974: SQL und die Geburt der „Datenbank, die Englisch spricht“
- SQL wurde so entworfen, dass auch Nicht-Entwickler Daten abfragen können, in der Praxis waren jedoch Verständnis komplexer Joins und Aggregationen nötig
- Das Ideal, dass Fachanwender direkt selbst Abfragen formulieren, wurde nicht verwirklicht; stattdessen entstand eine neue Spezialistenrolle
- Der Datenzugang wurde einfacher, Fachwissen blieb jedoch weiterhin notwendig
Die 1980er: Das Versprechen von OLAP und Sprachen der vierten Generation
- Es verbreitete sich der Ansatz, dass Anwender selbst Analysen durchführen können, wenn Datenstrukturen an die Denkweise des Business angepasst werden
- MOLAP-Server lieferten den Bereichen Finanzen und Planung tatsächlich Produktivitätsgewinne
- Für Dimensionsdesign, Performance-Optimierung und Integrationsarbeit war weiterhin Spezialwissen erforderlich
- Die Tools änderten sich, aber die Expertenrolle veränderte nur ihre Form
Die 1990er: Data Warehouse und dimensionale Modellierung
- Dimensionale Modellierung war der Versuch, Komplexität in der ETL-Schicht zu verstecken und die Analyse für Anwender zu vereinfachen
- Trotz großer Investitionen verzögerten sich viele Projekte oder scheiterten
- Das präzise Modellieren von Geschäftsregeln und Ausnahmen blieb ein Bereich, der sich nicht automatisieren ließ
Die 2000er: Semantic Layer und Self-Service-BI
- Der Semantic Layer abstrahierte technische Begriffe in Geschäftssprache
- Self-Service-BI erhöhte die Zugänglichkeit von Visualisierung erheblich
- Widersprüchliche Definitionen und Datenverwirrung traten als neue Probleme auf
- Zentrale Verwaltung und Governance gewannen wieder an Bedeutung
Die 2010er: Analytics Engineering und ELT
- Durch die Verbreitung von Cloud Data Warehouses wurden SQL-basierte Transformationen möglich
- Analysten konnten Teile der Datenpipeline direkt selbst aufbauen
- dbt brachte Entwicklungspraktiken wie Tests, Dokumentation und Versionsverwaltung in den Datenbereich
- Je größer Projekte wurden, desto wichtiger blieben Architektur und Urteilsvermögen
Das AI-Zeitalter: Was hat sich verändert und was bleibt gleich?
- AI erledigt die mechanische Arbeit, Absichten in Code zu übersetzen, äußerst schnell
- Die Wahl von Typen dimensionaler Modelle, die Definition von Kennzahlen und geschäftliche Abstimmung erfordern weiterhin menschliches Urteilsvermögen
- Die Entwicklung ist schneller geworden, aber die gesamte Projektdauer wird weiterhin für Denken und Abstimmung aufgewendet
- Die größte Veränderung ist die verkürzte Feedback-Schleife, die iterative Verbesserungen ermöglicht
Die unveränderte Grenze: die Komplexität des Denkens
- Ein Data Warehouse ist ein Modell des Business, und dafür ist präzises Verständnis essenziell
- Hinter Anforderungen, die wie einfache Fragen aussehen, stehen zahlreiche Definitionen und Ausnahmen
- Diese Komplexität ist ein Bereich, den Tools nicht beseitigen können
Was das für Data Leader bedeutet
- Entscheidend ist nicht, ob Tools Experten ersetzen, sondern wie stark sie deren Produktivität erhöhen
- Es muss bewertet werden, ob sich repetitive Arbeit reduzieren lässt, damit der Fokus auf wertstiftende Entscheidungen gelegt werden kann
- Neue Tools erfordern neue technische Fähigkeiten
Warum dieser Traum immer weiterlebt
- Der Traum, Experten zu entfernen, hat als treibende Kraft für Tool-Innovationen gewirkt
- Der Traum wurde nie vollständig verwirklicht, hat in diesem Prozess aber realen Wert geschaffen
- Auch AI ersetzt Experten nicht, macht sie jedoch effizienter
Die Richtung nach vorn
- Es gibt keinen Grund, neue Tools abzulehnen, aber die Erwartungen sollten realistisch gesetzt werden
- Das wichtigste Investitionsziel sind nicht Tools, sondern Menschen, die geschäftliche Komplexität verstehen
- Datenanalyse ist letztlich die Arbeit, Geschäftsverständnis in eine abfragbare Form zu bringen
- Die seit 50 Jahren unveränderte Tatsache ist, dass Urteilsvermögen und Denken den größten Engpass bilden
Noch keine Kommentare.