Eine neue Architektur für moderne Dateninfrastruktur
(future.a16z.com)-
Zusammenstellung aktueller Informationen und Begriffserklärungen zur modernen Dateninfrastruktur auf Basis von Interviews mit Datenexpert:innen
-
Ein wirklich gutes sechsteiliges PDF, um das Datenfeld insgesamt zu verstehen
Konzeptübersicht einer integrierten Dateninfrastruktur auf einen Blick in Kapitel 1
- Sources: Erzeugen von Geschäfts- und Betriebsdaten
→ OLTP DB via *CDC
→ Applications/ERP (Oracle, Salesforce, Netsuite): sämtliche im Unternehmen anfallenden Daten
→ Event-Sammler (Segment, Snowplow): sammeln alle Events von Service-Nutzer:innen
→ Logs: Logs von Webservern und verschiedenen anderen Servern
→ Third-Party-APIs (z. B. Stripe): Daten aus Zahlungen und anderen genutzten APIs
→ Dateien und Objektspeicher
- Ingestion and Transformation: heute eher ETL zu ELT, Extract / Load / Transform
Daten aus operativen Systemen extrahieren (E) / in ein Repository verschieben (L) / Daten für Analysen transformieren (T)
→ Connector (Fivetran, Stitch, Matillion): Tools zum Verschieben von Daten aus verschiedenen Quellen in ein DW
→ Data Modeling (dbt, LookML): Datenmodellierung und Transformation
→ Workflow Manager (Airflow, Dagster, Prefect): Orchestrator / Scheduler zur Automatisierung von Datenflüssen
→ Spark Platform (Databricks, Amazon EMR): leistungsstarke Clustering-Plattform für verteilte Verarbeitung
→ Python Libs: Bibliotheken für Datenanalyse - Pandas, AWS-Interface - Boto, Dask für große parallele Verarbeitung, Ray für verteilte Verarbeitung..
→ Batch Query Engine (Hive): Big-Data-Abfragen
→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis): Echtzeit-Messaging-/Streaming-Plattform
→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink): Sammeln, Verarbeiten und Analysieren von Streaming-Daten
- Storage: Speichert Daten in einer Form, die Abfragen und Verarbeitung ermöglicht. Optimiert für niedrige Kosten, Skalierbarkeit und Analyse-Workloads.
→ Data Warehouse (Snowflake, BigQuery, Redshift): integriertes Datenspeicher-Repository mit analysierbaren Informationen
→ Data Lake: speichert im Gegensatz zu DW unbereinigte strukturierte/unstrukturierte Rohdaten
Databricks/Delta Lake (ein Data Lake, der ACID-Transaktionen auf Spark und S3/HDFS usw. ermöglicht),
Apache Iceberg (Tabellenformat für extrem große Tabellen im Petabyte-Bereich, entwickelt von Netflix),
Apache Hudi (effizienter Data Lake, entwickelt von Uber), Hive Acid
→ Apache Parquet - spaltenbasiertes Speicherformat
Apache ORC - Optimized Row Columnar, schreibt spaltenweise und speichert dabei auch Indizes
Apache Avro - zeilenweises Schreiben, gut geeignet zum Schreiben, gut für Schema-Evolution
→ AWS S3 (Simple Storage Service), GCS (Google Cloud Storage), ABS (Azure Blob Storage), HDFS (Hadoop Distributed File System)
4&5. Historical & Predictive: Bietet Analyst:innen und Data Scientists Interfaces (Abfragen), um Erkenntnisse zu gewinnen
Historical: erklärt, was in der Vergangenheit passiert ist. Einschließlich der ganz aktuellen Vergangenheit (nahezu in Echtzeit)
Predictive: Zukunftsprognosen, datenbasierte/ML-Anwendungen
→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)
→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )
→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)
→ Real-time Analytics: Imply/Druid - Echtzeitanalyse, Altinity/Clickhouse - OLAP, Rockset - kommerzielle Echtzeit-Analyse-Engine (basierend auf RocksDB, einer hochperformanten eingebetteten KV-Datenbank)
- Output: Tools, die die Ergebnisse der Datenanalyse intern/extern anzeigen. Die erstellten Datenmodelle werden in operative Systeme und Anwendungen eingebettet
→ Dashboards: Looker, Apache Superset, Mode, Tableau - Business-Intelligence-Tools
→ Embedded Analytics: Sisense, Looker, cube.js - BI-Tools in interne Systeme einbetten. API-basiert. Interne Analyse-Apps können erstellt werden
→ Augmented Analytics: Thoughtspot, Outlier, Anodot, Sisu - Tools, die mithilfe von KI automatisch Analysen durchführen
→ App Frameworks: Plotly Dash, Streamlit - Frameworks zum Erstellen von ML-Apps
- Sonstiges
→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)
→ Quality and Testing (Great Expectations)
→ Entitlements and Security (Privacera, Immuta)
→ Observability (Unravel, Accel Data, Fiddler)
- Blueprints für drei zentrale Bereiche
→ moderne Business Intelligence (BI)
→ multimodale Datenverarbeitung
→ Bereich AI und ML
- Change Data Capture: Kopieren von Änderungsdaten aus OLTP in Echtzeit in verschiedene andere Speicherorte (DB, DW)
4 Kommentare
Ich habe YouTube-Videos aufgenommen, in denen jeder der hier vorgestellten Services und Open-Source-Projekte einzeln erklärt wird.
Da sie in Folgen von jeweils etwa 10 Minuten aufgeteilt sind, könnt ihr sie als Referenz nutzen, wenn ihr die obigen Inhalte etwas genauer verstehen möchtet.
Moderne Dateninfrastruktur verstehen by GeekNews
Der Link zur Übersetzung war falsch, haha; bitte beziehen Sie sich auf den untenstehenden Link ^^;
https://drive.google.com/file/d/…
Wow, vielen Dank. Mir gefällt dieses Material auch sehr, deshalb versuche ich gerade, ein separates Erklärmaterial (Video) zur Hauptgrafik zu erstellen.
https://drive.google.com/file/d/…
Der Inhalt wirkt gut, daher habe ich den Originaltext kurz übersetzt ^^