- Die wichtigsten Veränderungen im Data Engineering im Jahr 2024: das rasante Wachstum generativer KI, die Reifung der Data Governance sowie der Fokus auf Effizienz und Echtzeitverarbeitung
- Für 2025 werden auf Basis dieser Entwicklungen fünf große Trends erwartet, die die Datenwelt verändern werden
1. Fortschritte bei AI-Computing
- NVIDIA ist nach Marktkapitalisierung zum wertvollsten Unternehmen der Welt aufgestiegen und verzeichnet ein Wachstum, wie man es vielleicht nur einmal pro Generation sieht
- Google hat angekündigt, im Bereich Quantum Computing mit Willow einen bahnbrechenden Durchbruch erzielt zu haben
- Amazon, Google und Microsoft liefern sich im Markt für AI-Chips einen intensiven Wettbewerb; ein repräsentatives Beispiel ist Amazons Trainium2-Chip
- PCs und Geräte mit Neural Processing Units (NPUs) ermöglichen Offline-AI-Berechnungen und verbessern den Datenschutz
- Innovationen wie Googles Edge TPU beschleunigen den Wandel hin zu energieeffizientem Edge Computing und verringern die Abhängigkeit von zentralisierter Cloud-Infrastruktur
- Der Übergang zu hybriden und energieeffizienten Computing-Architekturen überbrückt die Lücke zwischen Performance, Kosten und Datenschutz bei AI-Anwendungen
- Es wird erwartet, dass neuromorphe Chips, die die Struktur des Gehirns nachahmen, eine beispiellose Energieeffizienz und die Fähigkeit zur Verarbeitung unstrukturierter Daten direkt auf Geräten bieten werden
- Bei neuromorphem und Quantum Computing werden erhebliche Fortschritte erzielt, die neue Horizonte für AI-Fähigkeiten eröffnen
- Diese Fortschritte bei AI-Hardware werden voraussichtlich ab 2025 Innovationen in den Bereichen Natural Language Processing, Computer Vision, Robotik und Gesundheitswesen vorantreiben
2. Die Weiterentwicklung domänenspezifischer Sprachmodelle
- Domain-specific language models (LLMs)
- Domänenspezifische Sprachmodelle, die mit Datensätzen aus bestimmten Branchen trainiert wurden, heben den Einsatz von AI in den jeweiligen Industrien auf die nächste Stufe
- Branchen wie Gesundheitswesen, Finanzwesen, Recht und Fertigung setzen diese Modelle ein, um komplexe und kontextreiche Aufgaben präzise zu lösen
- Mit AI-Funktionen, die auf die feinen Anforderungen einzelner Branchen zugeschnitten sind, treiben sie Innovationen in Geschäftsprozessen und Entscheidungsabläufen im gesamten Unternehmen voran
- Small Language Models (SLMs)
- Small Language Models (SLMs) stehen aufgrund ihrer Kosteneffizienz und Anpassungsfähigkeit im Fokus
- Für spezifische Aufgaben optimierte SLMs zeigen in begrenzten Einsatzbereichen eine bessere Leistung als große Modelle
- Durch geringere Computing-Anforderungen und einfachere Bereitstellung werden SLMs den Zugang zu AI demokratisieren, sodass Organisationen jeder Größe anspruchsvolle Sprachfunktionen umsetzen können, ohne die Last des Betriebs ressourcenintensiver Systeme tragen zu müssen
3. AI-Orchestratoren und mehrstufiges Schlussfolgern
- AI-Orchestratoren
- Da Unternehmen eine Vielzahl spezialisierter AI-Agenten einführen, werden AI-Orchestratoren voraussichtlich eine zentrale Rolle im AI-basierten Data Stack übernehmen
- Diese Orchestratoren fungieren als intelligente Control Plane, leiten Aufgaben dynamisch an den jeweils geeignetsten Agenten weiter, fassen Ergebnisse zusammen und liefern umsetzbare Insights
- Mit tiefem inhaltlichem Verständnis, mehrsprachiger Verarbeitung und Unterstützung verschiedener Datentypen integrieren sie mehrere AI-Agenten in konsistente Workflows
- Fortschritte beim mehrstufigen Schlussfolgern
- AI-Modelle entwickeln sich über einfache Frage-Antwort-Szenarien hinaus und lösen komplexe Probleme durch mehrstufiges Schlussfolgern
- Durch die Aufteilung komplexer Aufgaben in kleine, aufeinanderfolgende Schritte werden genauere und aufschlussreichere Analysen möglich
- Diese Fähigkeit wird AI-Agenten Long-Tail-Automatisierung in Bereichen wie Coding, Medizin, Recht und weiteren Branchen ermöglichen
- Die Kombination aus AI-Orchestratoren und mehrstufigem Schlussfolgern wird ein neues Zeitalter der AI eröffnen und ihren Einfluss auf Problemlösung und Entscheidungsfindung in verschiedensten Bereichen stark ausweiten
4. Entwicklungsumgebungen der nächsten Generation für Datenintegration (Data IDE)
- Der steigende Bedarf von Organisationen an Daten-Insights verändert die Herangehensweise an Data Engineering grundlegend
- Für 2025 wird das Aufkommen eines neuen Typs integrierter Entwicklungsumgebung (IDE) erwartet, der darauf ausgelegt ist, den Zugang zu und die Bearbeitung von Daten effektiv zu demokratisieren
- Tools wie lakebyte.ai zeigen den Beginn dieser Innovation
- Zentrale Merkmale
- Nahtlose Integration
- Vom Sammeln und Transformieren von Daten bis hin zu Analyse, Visualisierung und Deployment wird der gesamte Datenlebenszyklus nahtlos in einer einzigen integrierten Umgebung zusammengeführt
- Intelligente Unterstützung auf AI-Basis
- Es werden AI-Funktionen integriert sein, die intelligente Code-Vervollständigung, automatisierte Datenbereinigung und smarte Vorschläge zur Pipeline-Optimierung bieten
- Sie helfen nicht nur beim Schreiben von Code, sondern verstehen auch die Bedeutung der Daten und schlagen den besten Weg für ihre Transformation vor
- Low-Code-/No-Code-Oberflächen
- Über visuelle Drag-and-Drop-Oberflächen können auch Nutzer mit wenig Programmiererfahrung Datenpipelines erstellen und verwalten
- Gleichzeitig bleibt für fortgeschrittene Nutzer die Flexibilität erhalten, bei Bedarf benutzerdefinierten Code zu schreiben
- Kollaborationsfunktionen
- Sie fördern die reibungslose Zusammenarbeit zwischen Data Engineers, Data Scientists, Analysten und Business-Anwendern
- Sie ermöglichen es, innerhalb einer gemeinsamen Umgebung gemeinsam an Datenprojekten zu arbeiten
- Integrierte Data Governance
- Datenqualitätsprüfungen, CI/CD-Pipelines, das Ausführen von Integrationstests vor dem Push in die Produktion, Zugriffskontrollen und Lineage-Tracking werden direkt in den Entwicklungsworkflow integriert
- So wird sichergestellt, dass Data Governance nicht erst nachträglich berücksichtigt wird
- Unterstützung für verschiedene Datenquellen und Formate
- Es werden native Connectoren für eine breite Palette an Datenquellen wie Datenbanken, Data Lakes, Streaming-Plattformen und Cloud-Speicher bereitgestellt
- Unterstützt werden verschiedene Datenformate, darunter strukturierte, semistrukturierte und unstrukturierte Daten
- Cloud-nativ und skalierbar
- Die Umgebung ist für den Betrieb in der Cloud ausgelegt und nutzt die Skalierbarkeit und Elastizität von Cloud-Infrastruktur
- Durch die Demokratisierung von Daten über leistungsstarke und intuitive IDEs wird voraussichtlich eine neue Gruppe von „Citizen Data Engineers“ entstehen
- Fachexperten werden dadurch in die Lage versetzt, Daten-Workflows zu erstellen und zu verwalten, auch wenn sie keine traditionellen Programmierer sind
- Es wird erwartet, dass datengetriebene Innovationen beschleunigt werden, da die Barrieren zwischen technischen und nichttechnischen Teams fallen
- 2025 wird Prompt Wrangling voraussichtlich zur wichtigsten Fähigkeit für Data Engineers werden
5. Der Aufstieg von LakeDB: Lakehouse-Formate in Datenbanken verwandeln
- Die Grenzen zwischen Data Lakes, Data Warehouses und Datenbanken verschwimmen zunehmend
- Für 2025 wird das Entstehen eines neuen Paradigmas namens LakeDB erwartet
- Als weiterentwickelte Form des Lakehouse-Konzepts entwickelt es sich in Richtung einer direkten Integration stärkerer Datenbankfunktionen in Data Lakes
- Dabei bleibt die Skalierbarkeit und Flexibilität von Object Storage erhalten, während zugleich Performance und Benutzerfreundlichkeit traditioneller Datenbanken geboten werden
- Es bietet fortgeschrittene Funktionen, die über einfache Object-Storage-Abfragen und Tabellenformate hinausgehen
- Buffering, Caching, Indizes und Schreiboperationen werden nativ verwaltet, um Performance und Effizienz auf Lakehouse-Niveau zu erreichen
- Aktuelle Lakehouses sind für Datenerfassung, Transformation und Schreibvorgänge auf externe Verarbeitungs-Frameworks wie Spark oder Flink angewiesen
- Diese Abhängigkeit erhöht die Komplexität und verursacht Latenzen
- Je nach Implementierung können inkonsistente Performance und Interoperabilitätsprobleme entstehen
- LakeDB wird voraussichtlich folgende Funktionen umfassen:
- Native Schreibfunktionen
- Es bietet direkt für zugrunde liegenden Object Storage optimierte Schreibpfade und macht damit bei gängigen Aufgaben externe Processing-Engines überflüssig
- Durch die kürzlich hinzugefügte S3-Funktion für bedingte Schreibvorgänge wird erwartet, dass Cloud-basierter Object Storage den Schreibpfad von LakeDB unterstützen wird
- Intelligentes Buffering und Caching
- Daten-Buffering und Caching werden intelligent verwaltet, um sowohl Lese- als auch Schreibleistung zu optimieren
- Transaktionsmanagement
- Mithilfe bedingter S3-Schreibvorgänge und fortgeschrittener Metadatenverwaltung werden robuste Transaktionsmanagement-Funktionen bereitgestellt
- Integrierte Mechanismen stellen Datenkonsistenz und -integrität sicher
- Intelligente Query-Performance
- Durch die Integration von In-Process-OLAP-Engines wie DuckDB wird die Effizienz bei kleineren Datenverarbeitungen verbessert
- Fortschrittliche Indexierung und Query-Optimierung steigern die Abfrageeffizienz
- Das System wählt automatisch die optimale Strategie, ohne dass Nutzer je nach Datenvolumen eigene Query-Strategien entwickeln müssen
- Automatisiertes Datenmanagement
- Data Tiering, Komprimierung und andere Optimierungsfunktionen werden automatisiert, um den Betrieb zu vereinfachen und Kosten zu senken
- Vector Search und Erweiterbarkeit
- Es bietet integrierte Unterstützung für Vektordatenbanken und Similarity Search
- Für jede Spalte können selektiv optimale Indexierungstechniken angewendet werden, um Lese- und Schreibleistung zu optimieren
- Funktionen wie die Unterstützung sekundärer Indizes in Hudi und variable Datentypen in Delta beginnen bereits in Lakehouse-Formaten Einzug zu halten
- Das LakeDB-Konzept befindet sich noch in einer frühen Phase, doch für 2025 werden in diesem Bereich erhebliche Innovationen erwartet
- Bestehende Lakehouse-Formate könnten sich weiterentwickeln und mehr LakeDB-ähnliche Funktionen integrieren; ebenso könnten neue Lösungen entstehen, die von Anfang an auf dieser Vision aufbauen
6. Data Mesh und Contract-basiertes Zero ETL sowie föderierte Architekturen
- Trotz einer skeptischen Sicht auf Datenverträge und Meshes wird erwartet, dass mehr Unternehmen Data-Mesh-Architekturen einführen
- Insbesondere dort, wo Datenaustausch innerhalb von Unternehmen erforderlich ist, dürfte die Nutzung von Data Mesh zunehmen
- Zero ETL und föderierte Query-Architekturen treiben diesen Wandel voran
- Zero ETL
- Die Technologie entwickelt sich in Richtung einer Minimierung von Datenbewegung und -duplizierung
- Technologien wie Datenvirtualisierung, föderierte Query-Engines und Data-Sharing-Protokolle ermöglichen Datenzugriff und -analyse auch ohne komplexe ETL-Prozesse
- Es wird erwartet, dass bestehende komplexe und zeitaufwendige ETL-Prozesse vereinfacht werden
- Data Sharing wird zu einem zentralen Thema
- Sichere und effiziente Data-Sharing-Protokolle und -Plattformen ermöglichen Zusammenarbeit mit Partnern, Kunden und Wettbewerbern
- Es wird erwartet, dass die Nutzung von Standards wie Delta Sharing zunimmt und diese sich kontinuierlich weiterentwickeln
- Ausblick
- Domain-Teams werden voraussichtlich ihre eigenen Datenpipelines besitzen, Datenprodukte erstellen und Daten nahtlos über Organisationsgrenzen hinweg teilen können
- Da Unternehmen zunehmend eigene Daten zum Training von LLMs einsetzen, wird die Bedeutung von Data Sharing weiter zunehmen
- Es wird erwartet, dass Data-Sharing-Modelle mehr Agilität, kürzere Time-to-Insight und einen stärker dezentralen sowie skalierbaren Ansatz für Datenmanagement ermöglichen
Fazit
- Der Aufstieg von AI und die Demokratisierung von Daten durch neue IDEs beschleunigen sich
- Die Weiterentwicklung der Rolle des Data Engineers und das Aufkommen von LakeDB verändern die Art und Weise des Datenmanagements grundlegend
- Von Zero ETL und föderierten Architekturen gestützte Data-Mesh-Prinzipien werden zum Mainstream
- In diesem dynamischen Umfeld wird die Rolle des Data Engineers wichtiger denn je
- Als Architekt von Insights, Hüter der Datenqualität und Motor der Innovation wird er voraussichtlich eine Schlüsselposition einnehmen
- Es wird erwartet, dass er sich an die sich wandelnden Anforderungen einer datengetriebenen Welt anpasst und neuen Wert schafft
Noch keine Kommentare.