The 2020 Data & AI Landscape

Eine Übersichtsgrafik von Matt Turck, VC bei FirstMark, mit Erläuterungen zur Daten- und KI-Branche im Jahr 2020

• Wichtige Trends bei Data Infrastructure

→ Der moderne Data Stack wird zum Mainstream: Snowflake, BigQuery, RedShift, DBT, Fivetran, Stitch, Looker..

→ ETL vs ELT

→ Automatisierung des Data Engineering

→ Der Aufstieg von Datenanalysten

→ Integration von Data Lake und Data Warehouse? = Data Lakehouse oder Unified Analytics Warehouse

→ Die Komplexität bleibt bestehen:

⇨ Wachsende Nachfrage nach Echtzeit-Streaming-Technologien

⇨ Orchestrierungs-Engines: begonnen bei Airflow und Luigi, bis hin zu den Next-Generation-Engines Prefect, Dagster, Kedro, Metaflow usw.

⇨ Data Lineage & DataOps: LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• Wichtige Trends bei Analytics & Enterprise AI

→ Boom bei Data-Science- und Machine-Learning-Plattformen (DSML)

→ ML wird tatsächlich ausgerollt und eingebettet

⇨ MLOps

⇨ AI Governance, AI Fairness

⇨ Decision Science (Optimierung, Simulation)

→ Das Jahr von NLP: GPT-3, BERT, ELECTRA

• Wichtige Investments, Exits und IPOs

→ IPOs: Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

→ M&A: ARM (NVIDIA), SignalFX (Splunk), Habana Labs (Intel), Fitbit (Google), Moovit (Intel)

→ Kleine, aber interessante Übernahmen: MapR (HPE), HortonWorks (Cloudera), Arcadia Data (Cloudera), Redash (Databricks)..