Die MAD-Landkarte 2024 für ML/AI/Data und die neuesten Trends

 (mattturck.com)
35 Punkte von xguru 2024-04-08 | 1 Kommentare | Auf WhatsApp teilen

2024er MAD-Branchenlandkarte (ML, AI, Data) und Erläuterung von 24 Themen des Jahres, zusammengefasst in einem einzigen Bild

[Part I : Landscape]

  • In der ersten Version von 2012 waren nur 139 Unternehmen enthalten, im MAD-Ökosystem 2024 sind es 2.011 Unternehmen
  • Das bedeutet, dass gegenüber den 1.416 im Vorjahr 578 neu hinzugekommen sind
  • Dass so viele Unternehmen enthalten sind, liegt daran, dass in den letzten rund zehn Jahren zwei große Wellen technologischer Fortschritte nacheinander aufgetreten sind: bei der Dateninfrastruktur und bei ML/AI
    • Die erste Welle war eine rund zehnjährige Entwicklung der Dateninfrastruktur, die mit Big Data begann und mit dem Modern Data Stack endete
    • Die zweite Welle ist die Entwicklung von ML/AI-Technologien, ausgehend von Generative AI
  • Das MAD-Ökosystem konzentriert sich darauf, den gesamten Lebenszyklus von Daten abzubilden, von der Erfassung über Speicherung, Verarbeitung und Analyse bis hin zur Wertschöpfung durch Anwendungen

Wichtige Veränderungen in den Bereichen Infrastruktur und Analytics

  • Im Bereich Dateninfrastruktur (die linke Seite des MAD-Ökosystems) gab es zuletzt keine großen Veränderungen
    • "Database Abstraction" wurde in "Multi-Model Databases & Abstractions" umbenannt, um das Aufkommen von All-in-One-Multi-Model-Datenbanken wie SurrealDB und EdgeDB abzubilden
    • Der im letzten Jahr experimentell geschaffene Abschnitt "Crypto / Web 3 Analytics" wurde entfernt
    • Auch der Abschnitt "Query Engine" wurde entfernt (die betreffenden Unternehmen sind weiterhin enthalten)

Wichtige Veränderungen im Bereich Machine Learning und Künstliche Intelligenz

  • Durch den explosionsartigen Anstieg von AI-Unternehmen im Jahr 2023 gab es in diesem Bereich die meisten strukturellen Veränderungen
  • Neben MLOps wurden drei neue Kategorien hinzugefügt
    • "AI Observability": Startups, die LLM-Anwendungen testen, evaluieren und überwachen
    • "AI Developer Platforms": Plattformen für die Entwicklung von AI-Anwendungen, ähnlich wie MLOps, aber mit Fokus auf LLM-Training, Deployment und Inferenz
    • "AI Safety & Security": Unternehmen, die sich mit LLM-spezifischen Risiken befassen, etwa Halluzinationen, Ethik und regulatorischer Compliance
  • "Horizontal AI/AGI" wurde in die zwei Kategorien "Commercial AI Research" und "Nonprofit AI Research" aufgeteilt
  • "GPU Cloud" wurde in "GPU Cloud / ML Infra" umbenannt, um zusätzliche Kerninfrastruktur-Funktionen von GPU-Cloud-Anbietern widerzuspiegeln

Wichtige Veränderungen im Anwendungsbereich

  • Alle Unternehmen auf der Anwendungsebene bezeichnen sich inzwischen selbst als "AI-Unternehmen"
  • Zu "Horizontal Applications" wurde die Kategorie "Presentation & Design" hinzugefügt
  • "Search" wurde in "Search / Conversational AI" umbenannt, um das Aufkommen von LLM-basierten Chatbot-Oberflächen wie Perplexity abzubilden
  • In "Industry" wurde "Gov't & Intelligence" in "Aerospace, Defense & Gov't" umbenannt

Wichtige Veränderungen im Bereich Open-Source-Infrastruktur

  • Es wurde eine einheitliche Kategorie "Data Management" geschaffen, die "Data Access" und "Data Ops" zusammenfasst
  • Hinzugefügt wurde die neue Kategorie "Local AI", die Infrastruktur-Tools für die Integration von AI und LLMs in lokale Entwicklungsumgebungen bereitstellt

[Part II: 24 Themen des Jahres 2024]

1. Strukturierte Daten vs. unstrukturierte Daten

  • Es gibt strukturierte Daten, die sich in Zeilen und Spalten einordnen lassen, und unstrukturierte Daten wie Text, Bilder, Audio und Video
  • Strukturierte Daten werden für Analysezwecke extrahiert, gespeichert und transformiert und dann mit BI-Tools visualisiert oder in traditionellen ML/AI-Modellen verwendet
  • Unstrukturierte Daten werden hauptsächlich genutzt, um generative AI-Modelle (wie LLMs) zu trainieren und zu verwenden (Inferenz)
  • Derzeit stehen unstrukturierte Daten (ML/AI) im Rampenlicht, strukturierte Daten (wie der Modern Data Stack) dagegen nicht

2. Ist der Modern Data Stack tot?

  • Der Modern Data Stack (MDS) befasst sich mit strukturierten Datenpipelines und galt bis vor Kurzem als eines der meistbeachteten Konzepte der Softwarebranche
  • MDS war rund um das Cloud Data Warehouse aufgebaut, mit Fivetran/Airbyte im Upstream, DBT in der Mitte und Looker/Mode im Downstream
  • Als Snowflake mit dem größten IPO aller Zeiten erfolgreich an die Börse ging, explodierte das Interesse an MDS, was zu einer Überhitzung bei Startup-Gründungen und VC-Investitionen führte
    • Mehrere Kategorien wie Data Catalog, Data Observability, ETL und Reverse ETL waren innerhalb von ein bis zwei Jahren gesättigt
  • MDS war zwar eine Lösung für reale Probleme, zugleich aber auch eine Art Marketingallianz zwischen mehreren Startups entlang der Daten-Wertschöpfungskette
  • Inzwischen steht MDS jedoch unter Druck, weil ① die Kombination mehrerer Vendor-Lösungen teuer ist und ② es durch Generative AI aus dem Fokus gedrängt wurde

3. Konsolidierung im Bereich Dateninfrastruktur und das Wachstum großer Unternehmen

  • Für die Dateninfrastruktur- und Analytics-Branche wird 2024 mit folgenden Entwicklungen gerechnet:
    • Viele MDS-bezogene Startups werden versuchen, sich als "AI-Infrastruktur-Startups" neu zu positionieren
      • Einigen mag das gelingen, doch die meisten werden eine grundlegende Weiterentwicklung ihrer Produkte benötigen, um den Wechsel von strukturierten zu unstrukturierten Daten zu schaffen
    • Die Dateninfrastrukturbranche wird endlich ein gewisses Maß an Konsolidierung erleben
      • Bisher war M&A begrenzt, doch 2023 gab es kleinere bis mittlere Übernahmen wie Stemma (Übernahme durch Teradata), Manta (Übernahme durch IBM) und Mode (Übernahme durch Thoughtspot)
    • Die Zahl gescheiterter Startups wird deutlich steigen
      • Durch das Versiegen von VC-Kapital verschärft sich die Lage zunehmend. Viele Startups haben ihre Kosten stark gesenkt, werden am Ende aber dennoch vor der Erschöpfung ihrer liquiden Mittel stehen. Mit spektakulären Schlagzeilen ist eher nicht zu rechnen
    • Größere Unternehmen werden ihre Plattformstrategie noch konsequenter vorantreiben
      • Das wird teils durch Übernahmen geschehen, teils aber auch durch Eigenentwicklung, um mehr Funktionen abzudecken

4. Aktueller Stand bei Databricks vs. Snowflake

  • Snowflake aus der Welt strukturierter Daten ist weiterhin ein hervorragendes Unternehmen und weist unter den Tech-Aktien nach wie vor eine der höchsten Bewertungen auf (KGV 14,8)
    • Wie bei vielen Softwareunternehmen hat sich das Wachstum jedoch deutlich verlangsamt
      • Der Umsatz im Geschäftsjahr 2024 stieg im Jahresvergleich um 38 % auf 2,67 Milliarden US-Dollar, die erwartete Wachstumsrate für die kommenden 12 Monate liegt bei 22 %
    • Vor allem vermittelt das Unternehmen den Eindruck, sich mit Produktinnovationen schwerzutun
      • Die Reaktion auf AI verläuft langsam, und auch bei M&A zeigt man sich zurückhaltend
      • Der jüngste, etwas abrupte CEO-Wechsel ist ebenfalls ein interessantes Signal
  • Databricks aus der Welt unstrukturierter Daten zeigt insgesamt starke Dynamik
    • Der Umsatz im Geschäftsjahr 2024 soll Berichten zufolge bei 1,6 Milliarden US-Dollar gelegen haben, mit einem Wachstum von mehr als 50 % (nicht börsennotiert)
    • Databricks entwickelt sich zu einem zentralen Unternehmen im Bereich Generative AI
      • Das Unternehmen ist sowohl bei M&A als auch bei der eigenen Produktentwicklung aktiv, etwa durch die Übernahme von MosaicML für 1,3 Milliarden US-Dollar
      • Es ist nicht nur ein zentrales Repository für unstrukturierte Daten, die in LLMs eingespeist werden, sondern entwickelt auch selbst verschiedene Modelle – von Dolly bis zum neu vorgestellten DBRX
  • Eine neue Variable in der Wettbewerbssituation der beiden ist die Einführung von Microsoft Fabric
    • Fabric, im Mai 2023 angekündigt, ist eine End-to-End-Cloud-basierte Datenanalyse-SaaS-Plattform
    • Durch die Integration von Microsofts Data Lake OneLake, dem BI-Tool PowerBI, Synapse und weiteren Komponenten deckt sie den gesamten Bereich von Datenintegration über Engineering bis Data Science ab
    • Zwischen Ankündigung und tatsächlichem Produkt mag zwar eine Lücke bestehen, doch in Kombination mit Microsofts Investitionen in Generative AI könnte Fabric zu einer starken Bedrohung werden
    • Ebenfalls interessant ist, dass Databricks überwiegend auf Microsofts Cloud Azure läuft

5. Der Stand von BI im Jahr 2024 und ob Generative AI die Analytics verändert?

  • Unter den Bereichen MDS und strukturierte Datenpipelines war BI der Bereich, der am dringendsten einer Neuerfindung bedurfte
    • Bereits in der MAD-Karte von 2019 wurde darauf hingewiesen, dass die Konsolidierung der BI-Branche nahezu abgeschlossen war, und 2021 wurde das Aufkommen von Metric Stores behandelt
  • Die Transformation von BI/Analytics verläuft jedoch langsamer als erwartet
    • Noch immer dominieren ältere Produktfamilien wie Power BI, Tableau und Looker den Markt; sie werden oft sogar quasi kostenlos mit größeren Vertriebsverträgen gebündelt
    • Es gab einige zusätzliche Konsolidierungen (Thoughtspots Übernahme von Mode, Snowflakes Übernahme von Sisu), und junge Unternehmen wie dbt (Semantic Layer/MetricFlow) und Trace (Metric Tree) versuchen innovative Ansätze, befinden sich aber noch in einem frühen Stadium
  • Gleichzeitig könnte generative AI nicht nur die Datenextraktion/-transformation, sondern auch die Analyse selbst stark beeinflussen
    • Es gab rege Aktivitäten wie OpenAIs Code Interpreter (heute Advanced Data Analysis) und MS’ Finance-Chatbot für Excel
    • Cloud-Anbieter, Databricks, Snowflake, die Open-Source-Community und zahlreiche Startups entwickeln oder veröffentlichen „Text-to-SQL“-Produkte, die DB-Abfragen in natürlicher Sprache ausführen
  • Das kündigt eine interessante und potenziell disruptive Veränderung an
    • Die Demokratisierung von Analyse ist ein lang gehegter Wunsch; wenn natürliche Sprache zur Schnittstelle von Notebooks/DBs/BI-Tools wird, werden deutlich mehr Menschen Analysen durchführen können
  • Innerhalb der BI-Branche gibt es jedoch auch Skepsis
    • Es wird darauf hingewiesen, dass die Präzision von SQL und das Verständnis des geschäftlichen Kontexts hinter einer Abfrage Hürden für die Automatisierung darstellen könnten

6. Der Aufstieg des modernen AI-Stacks

  • Ein Großteil der bisherigen Diskussion drehte sich um strukturierte Datenpipelines
  • Die Infrastruktur für unstrukturierte Daten befindet sich in einer ganz anderen Phase als die für strukturierte Daten. Die Nachfrage nach Daten, die in LLMs eingespeist werden können, ist sehr hoch
    • Jedes Unternehmen, das mit generativer AI experimentiert oder sie ausrollt, entdeckt das Klischee „Daten sind das neue Öl“ neu
    • Alle wollen die Leistungsfähigkeit von LLMs, aber sie wollen Modelle, die mit ihren eigenen Unternehmensdaten trainiert sind
  • Sowohl Großunternehmen als auch Startups stürzen sich in den Wettbewerb, um Infrastruktur für generative AI bereitzustellen
  • Mehrere AI-Scaleups versuchen aktiv, ihre Produkte weiterzuentwickeln und Momentum aufzubauen
    • Darunter Databricks, Scale AI (hat seine Labeling-Infrastruktur für autonome Fahrzeuge durch Partnerschaften mit OpenAI u. a. zu einer Enterprise-Datenpipeline weiterentwickelt) und Dataiku (hat LLM Mesh für Multi-Vendor-/Multi-Modell-Umgebungen veröffentlicht)
  • Gleichzeitig entsteht in vielen Bereichen eine neue Generation von AI-Infrastruktur-Startups
    • Vector DBs: Speichern Daten in einem Format, das generative AI-Modelle konsumieren können (Vektor-Embeddings). Spezialisierte Anbieter wie Pinecone, Weaviate, Chroma und Qudrant wachsen rasant, und etablierte DB-Unternehmen wie MongoDB treiben die Ergänzung von Vector-Search-Funktionen ebenfalls aktiv voran. Zugleich gibt es die Debatte, ob größere Kontextfenster Vector DBs überflüssig machen werden
    • Frameworks: Verbinden und orchestrieren verschiedene Komponenten, etwa LlamaIndex und Langchain
    • Guardrails: Sorgen zwischen LLM und Nutzer dafür, dass Ergebnisse die Regeln der Organisation einhalten
    • Evaluierungs-Tools: Testen/analysieren/überwachen die Leistung generativer AI-Modelle. Wegen des Misstrauens gegenüber öffentlichen Benchmarks gilt das als schwieriges Problem
    • Router: Verteilen Nutzeranfragen in Echtzeit auf mehrere Modelle, um Leistung/Kosten/Erlebnis zu optimieren
    • Kostenmanagement: Überwacht die Nutzungskosten von LLMs
    • Endpunkte: APIs, die die Komplexität der zugrunde liegenden Infrastruktur wie Modelle abstrahieren
  • Mit Blick auf das Beispiel von MDS zögert man, den Begriff „moderner AI-Stack“ zu verwenden
    • Es gibt jedoch viele Ähnlichkeiten: Diese Startups sind wie die früheren MDS-Unternehmen „hot“, treten in Gruppen auf und schließen Marketing- und Produktpartnerschaften
  • Diese neue Generation von AI-Infrastruktur-Startups wird vor ähnlichen Herausforderungen stehen wie MDS-Unternehmen
    • Ist jede Kategorie groß genug, um Unternehmen im Wert von mehreren Milliarden Dollar hervorzubringen?
    • Welche Teile werden Big-Tech-Unternehmen (Cloud-Anbieter, Databricks, Snowflake usw.) einfach selbst bauen?

7. Wo stehen wir im AI-Hype-Zyklus?

  • AI hat über Jahrzehnte hinweg wiederholt AI-Sommer und AI-Winter erlebt. Allein in den vergangenen 10 bis 12 Jahren gab es drei Hype-Zyklen
      1. Welle: 2013–2015, ausgelöst durch die Aufmerksamkeit für Deep Learning nach ImageNet 2012
      1. Welle: um 2017–2018, mit dem Chatbot-Boom und dem Aufstieg von TensorFlow
      1. Welle: seit November 2022 bis heute, generative AI
  • Dieser Hype-Zyklus ist besonders intensiv, fast schon wie eine AI-Blase. Das hat mehrere Gründe
    • Die Technologie selbst ist enorm beeindruckend und erschließt sich auch der breiten Öffentlichkeit leicht, weit über die Tech-Welt hinaus
    • Für VCs mit viel Dry Powder war sie in einer Phase, in der alle anderen Technologiebereiche schwächelten, praktisch die einzige Investmentchance
  • Wie immer bringt Hype viele Vor- („Ohne fanatische Begeisterung keine großen Leistungen“, Kapital fließt in ambitionierte Projekte nach dem Motto „Lasst hundert Blumen blühen“) und Nachteile mit sich (über Nacht wird jeder zum AI-Experten, jedes Startup wird zum AI-Unternehmen, AI-Konferenzen/Podcasts/Newsletter überschwemmen den Markt, ebenso wie AI-Market-Maps)
  • Das Hauptproblem von Hype-Zyklen ist jedoch die unvermeidliche Gegenreaktion
  • Die aktuelle Phase birgt mehrere „Merkwürdigkeiten“ und Risiken
    • Die ungewöhnliche rechtliche und Governance-Struktur des führenden Unternehmens (OpenAI)
    • Die Verbreitung von Deals nach dem Muster „Computing Power gegen Beteiligung“, die nicht ausreichend verstanden oder offengelegt sind (mit möglicher round-tripping-Problematik)
    • Viele vielversprechende Startups werden von AI-Forschern geführt
    • Das Deal-Verhalten von VCs erinnert an die Zeit der Nullzinsen („Land Grabs“, riesige Runden, schwindelerregende Bewertungen für Unternehmen, die erst seit kurzem existieren)
  • Es gibt zwar Anzeichen dafür, dass der AI-Hype Risse bekommt (siehe unten), aber wir befinden uns noch immer in einer Phase, in der jede Woche neue Entwicklungen alle überraschen. Angesichts von Meldungen wie dem saudischen AI-Fonds über 40 Milliarden Dollar dürfte der Kapitalzufluss vorerst kaum versiegen

8. Experiment oder Realität? War 2023 nur Fassade?

  • Angesichts des Hypes lohnt es sich, darauf zurückzublicken, wie viel Substanzielles bisher tatsächlich passiert ist und ob es nicht oft bei Experimenten geblieben ist
  • 2023 war ein extrem geschäftiges Jahr
    • Jedes Tech-Unternehmen beeilte sich, generative AI in seine Produkte aufzunehmen
    • Die Vorstände der Global-2000-Unternehmen gaben allesamt die Einführung von AI vor, und selbst Unternehmen aus regulierten Branchen wie Morgan Stanley und Citibank setzten sie in Rekordtempo ein
    • Verbraucher zeigten begeistertes Interesse an generativen AI-Apps
  • Infolgedessen erzielten OpenAI ($2B ARR), Anthropic (erwarteter Umsatz 2024: $850M), Midjourney (40 Mitarbeitende, $200M Umsatz ohne Finanzierung) und Perplexity (MAU von 0 auf 10 Millionen) große Erfolge
  • Sollte man das dennoch zynisch betrachten? Es gibt einige Bedenken
    • Unternehmensausgaben blieben oft bei PoCs oder auffälligen Leuchtturmprojekten und kamen häufig aus Innovationsbudgets
      • Ging es vielleicht weniger um die Lösung realer Geschäftsprobleme als darum, dass Führungskräfte nicht rückständig wirken wollten?
    • Consumer-Apps haben hohe Abwanderungsraten. War vieles nur Neugier?
    • Viele Menschen wissen privat wie beruflich noch nicht genau, wie sie generative AI sinnvoll einsetzen sollen
    • Selbst Produkte der besten AI-Experten werden sich nicht alle wie Magie anfühlen
      • Wie sollte man den Fall Inflection AI einordnen, das trotz $1.3B Funding enttäuschend scheiterte? Ist das ein Hinweis darauf, dass die Welt keinen weiteren AI-Chatbot oder kein weiteres LLM braucht?

9. Sind LLM-Unternehmen doch nicht so austauschbar?

  • In LLM-Unternehmen fließen gewaltige Summen an Venture Capital und Unternehmenskapital.
  • Die häufigste Frage der vergangenen 18 Monate lautete: Sehen wir gerade, wie enorme Kapitalmengen für Produkte verbrannt werden, die am Ende zur Massenware werden? Oder werden diese LLM-Unternehmen das neue AWS, Azure oder GCP?
  • Das knifflige Problem aus Sicht der LLM-Unternehmen ist, dass kein LLM einen dauerhaften Leistungsvorsprung aufzubauen scheint.
    • Aktuell sind Claude 3 Sonnet und Gemini Pro 1.5 besser als GPT-4, und GPT-4 ist besser als Gemini 1.0 Ultra, aber diese Rangfolge scheint sich alle paar Wochen zu ändern.
    • Es gibt auch Leistungsschwankungen – ChatGPT hat zeitweise „den Verstand verloren“ und wurde „faul“, bevor es sich vorübergehend wieder erholte.
  • Hinzu kommt, dass Open-Source-Modelle (Llama 3, Mistral, DBRX usw.) leistungsmäßig schnell aufholen.
  • Gleichzeitig sind deutlich mehr LLM-Unternehmen auf dem Markt als ursprünglich erwartet.
  • Noch vor einigen Jahren ging die vorherrschende Einschätzung davon aus, dass es wegen der weltweit nur wenigen Menschen mit der nötigen Expertise zum Skalieren von Transformern nur ein oder zwei LLM-Unternehmen in einem Winner-takes-all-Markt geben würde.
  • Offenbar gibt es jedoch mehr kompetente Teams als gedacht.
    • Neben OpenAI und Anthropic gibt es viele Startups, die Grundlagenforschung im Bereich KI betreiben, etwa Mistral, Cohere, Adept, AI21, Imbue und 01.AI, dazu Teams bei Google, Meta und anderen.
  • Trotzdem erzielen LLM-Unternehmen bisher keine schlechten Ergebnisse. OpenAI und Anthropic steigern ihre Umsätze in enormem Tempo.
  • Selbst wenn LLM-„Modelle“ zur Massenware werden, stehen LLM-„Unternehmen“ weiterhin große Geschäftschancen offen.
    • Sie sind bereits zu „Full-Stack“-Unternehmen geworden, die auf Basis von Foundation Models Anwendungen und Tools für Verbraucher, Unternehmen und Entwickler anbieten.
  • Die Analogie zu Cloud-Unternehmen scheint ziemlich passend.
    • AWS, Azure und GCP gewinnen und binden Kunden über die Anwendungs-/Tool-Ebene und verdienen ihr Geld mit einer weitgehend undifferenzierten Computing-/Storage-Ebene.

10. Eine hybride Zukunft: LLMs, SLMs

  • Während die Aufmerksamkeit stark auf große LLMs (GPT-3, GPT-4, GPT-5 usw.) gerichtet ist, entwickeln sich auch SLMs (small language models) rasant.
    • Metas Llama-2-13b, Mistrals Mistral-7b/Mixtral 8x7b, MSs Phi-2/Orca-2 usw.
    • SLMs sind im Betrieb günstiger, leichter feinzujustieren und liefern ebenfalls starke Leistung.
  • Es entstehen auch Modelle, die auf bestimmte Aufgaben spezialisiert sind (Coding, Finanzen usw.).
    • Auf Coding spezialisierte Modelle wie Code-Llama, Poolside AI usw.
    • Branchenmodelle wie das Finanzmodell von Bloomberg oder das Materialwissenschaftsmodell von Orbital Materials.
  • Unternehmen entwickeln sich schnell in Richtung hybrider Architekturen, die solche unterschiedlichen Modelle kombinieren.
  • Zwar sinken die Preise, aber große proprietäre LLMs sind weiterhin teuer und haben zudem Latenzprobleme; daher werden Nutzer/Kunden zunehmend verschiedene Modelle kombiniert ausrollen.
    • Der Trend geht dahin, große/kleine, kommerzielle/Open-Source- sowie allgemeine/spezialisierte Modelle je nach Bedarf und Budget zu kombinieren.

11. Ist traditionelle KI tot?

  • Mit dem Erscheinen von ChatGPT wurden KI-Technologien, die bis dahin als State of the Art galten, über Nacht als „traditionelle KI“ bezeichnet.
  • Doch traditionelle KI (oder prädiktive KI) arbeitet mit strukturierten Daten und ergänzt generative KI komplementär.
  • Traditionelle KI wird bereits in zahlreichen Unternehmen im großen Maßstab eingesetzt.
  • Künftig werden Unternehmen überlegen müssen, für welche Aufgaben sie LLMs, für welche traditionelle KI-Modelle und wie sie beide kombinieren.

12. Dünne Wrapper, dicke Wrapper und der Wettlauf zum Full Stack

  • Dünne Wrapper (thin wrapper): ein 2023 populärer Begriff mit negativer Konnotation für Produkte, die auf Technologie Dritter wie OpenAI angewiesen sind.
    • Die Schwierigkeiten von Startups wie Jasper stützen diese Sicht.
  • Mit der Zeit haben sich jedoch Wege zur Differenzierung gezeigt.
    • Fokus auf ein bestimmtes (vertikales) Problem
    • Aufbau von Workflow-, Kollaborations- und tiefen Integrationsfunktionen
    • Arbeit auf Ebene des KI-Modells, etwa durch Fine-Tuning von Modellen oder den Aufbau hybrider Systeme
  • Mit anderen Worten: Man muss Full Stack werden (Anwendung + Infrastruktur) und zugleich spezialisiert bleiben.

13. Bemerkenswerte Bereiche: AI Agents, Edge AI

  • AI Agents sind als letzte Stufe der Automatisierung ein großes Thema.
    • Allerdings bleibt die generative KI hier noch hinter den Erwartungen zurück und zeigt weiterhin Schwächen.
    • Ergänzungen wie Speicherfunktionen für KI-Systeme sind nötig.
    • Trotzdem dürfte dies in den kommenden 1–2 Jahren einer der spannendsten Bereiche werden.
  • Auch Edge AI ist ein Thema.
    • Modelle, die ohne GPU direkt auf Geräten laufen, sind seit Langem ein großes Ziel.
    • Bei Einsatz auf Smartphones oder IoT-Geräten besteht großes Potenzial.
    • Open-Source-Projekte wie Mixtral, Ollama und Llama.cpp werden aktiv vorangetrieben.

14. Generative KI: auf dem Weg zu AGI oder in der Stagnation?

  • Trotz der rasanten technologischen Entwicklung gibt es die Sorge, dass generative KI entweder ① an Ressourcenlimits (Rechenleistung, Daten) stößt oder ② wegen fehlender Reasoning-Fähigkeiten an Grenzen gerät.
  • Ähnliche Diskussionen gab es bereits 2018, und danach fiel vor allem der steigende Ressourceneinsatz auf.
  • Im Bereich Reasoning gab es mit DeepMinds AlphaGeometry bedeutende Fortschritte.
  • Ressourcenlimits sind schwer zu bewerten. Die Rechenleistung wächst weiter (NVIDIA Blackwell), und auch bei den Daten scheint es durch synthetische Datengenerierung Spielraum zu geben.
  • Aus Sicht der Teilnehmer im Startup-Ökosystem wird das Ausmaß, in dem GPT-5 GPT-4 übertrifft, zum Barometer für das Tempo des technischen Fortschritts werden.
    • Selbst wenn die Entwicklung generativer KI kurzfristig ins Stocken gerät, dürften Geschäftschancen noch eine ganze Weile reichlich vorhanden sein.

15. Der GPU-Krieg (ist NVIDIA überbewertet?)

  • Ist dies ein neues Zeitalter, in dem Rechenleistung zur wertvollsten Ressource der Welt wird, oder eine Blase durch Überproduktion von GPUs?
  • NVIDIA beherrscht den Markt für KI-taugliche GPUs faktisch monopolartig und erlebt einen Boom, bei dem sich der Aktienkurs verfünffacht hat.
    • Das könnte auch daran liegen, dass von VCs in KI investiertes Kapital zu NVIDIA geflossen ist.
  • Hardwarefertigung (TSMC-Fabriken) ist jedoch kein leichtes Geschäft, daher hängt NVIDIAs Schicksal von der Nachhaltigkeit des aktuellen Booms ab.
  • Es gibt zwar Herausforderungen durch Konkurrenten wie AMD und Intel, langfristig wirken die Aussichten für Hersteller von KI-Chips jedoch positiv.

16. Open-Source-KI: des Guten zu viel?

  • Im vergangenen Jahr stand Open-Source-KI stark im Rampenlicht.
    • Meta mit Llama, Mistral, Googles Gemma und andere zogen Aufmerksamkeit auf sich, und auch HuggingFace wächst weiter, während es unzählige Modelle hostet.
    • Ein erheblicher Teil der innovativsten Arbeit im Bereich generative KI findet in der Open-Source-Community statt.
  • Allerdings zeigen sich in der Open-Source-Community auch Überhitzungserscheinungen.
    • Hunderttausende Open-Source-KI-Modelle wurden veröffentlicht, doch die meisten sind Spielerei oder bleiben Wochenendprojekte.
    • Viele Modelle wechseln ständig ihre Platzierung, werden für ein paar Tage berühmt und verschwinden dann wieder.
  • Der Markt wird sich durch Selbstbereinigung nur auf einige wenige erfolgreiche Open-Source-Projekte konzentrieren, die dann Unterstützung von Cloud-Unternehmen und anderen erhalten. Bis dahin dürfte die Lage jedoch chaotisch bleiben.

17. Was kosten KI wirklich?

  • Die Ökonomie generativer KI ist ein Thema, das sich schnell weiterentwickelt.
    • Um Google im Suchmarkt herauszufordern, müssen die Kosten für KI-basierte Antworten niedriger sein als die Kosten für die Bereitstellung von zehn Links.
    • KI-basierte Softwareunternehmen müssen dafür sorgen, dass Inferenzkosten ihre Bruttomarge nicht auffressen.
  • Für Kunden/Nutzer von KI-Modellen gibt es gute Nachrichten: Der Preiswettbewerb setzt schneller ein als erwartet.
    • Durch Open-Source-KI und das Auftreten kommerzieller Inferenzanbieter sind die Wechselkosten aus Kundensicht sehr niedrig geworden, was OpenAI und Anthropic unter Druck setzt.
    • Ein Beispiel dafür sind die zeitgleichen Preissenkungen bei Embedding-Modellen.
  • Aus Sicht der Anbieter bleiben die Kosten für Aufbau und Betrieb von KI jedoch hoch.
    • Anthropic soll mehr als die Hälfte seines Umsatzes für Cloud-Kosten ausgegeben haben.
    • Auch die Kosten für Datenlizenzierung sind beträchtlich.
  • Aus Nutzersicht kann man auch einfach kostenlose, von VCs finanzierte Dienste genießen.

18. Die Tech-Giganten und der Wandel der politischen Ökonomie von KI: Hat Microsoft gewonnen?

  • Frage, die seit Ende 2022 aufkam: Werden Big Techs den Großteil des Werts generativer KI abschöpfen?
  • Bei KI ist im Vorteil, wer mehr Daten, Rechenleistung und Forschende hat. Big Techs wissen das genau und handeln entsprechend offensiv.
  • MS scheint am effektivsten zu reagieren (als spiele es 4D-Schach)
    • 13 Milliarden US-Dollar in OpenAI investiert
    • Partnerschaft mit dem Open-Source-Konkurrenten Mistral
    • Übernahme von Inflection AI, einem ChatGPT-Konkurrenten
    • Auch der Azure-Umsatz wächst stark
  • Google/Amazon kooperieren mit Anthropic und investieren darin, Amazon arbeitet zudem mit Hugging Face zusammen
  • Meta wirkt so, als setze es voll auf Open-Source-KI
  • Auch die Veränderungen aus China sind bemerkenswert
  • Entscheidend ist, wie viel Spielraum Startups für Wachstum haben werden
    • Einige wenige wie OpenAI und Anthropic konnten durch gute Partnerschaften schnell skalieren
    • Für viele Startups ist die Zukunft jedoch unklar
    • Die Übernahme von Inflection AI, die Vorgänge um den CEO von Stability AI usw. deuten darauf hin, dass Startups der „zweiten Reihe“ zu kämpfen haben

19. OpenAI-Euphorie vs. Zynismus

  • OpenAI bleibt weiterhin attraktiv
    • Unternehmensbewertung von 86 Milliarden US-Dollar, schnell wachsender Umsatz, Streit unter den Gründern (?), Sam Altman als Steve Jobs dieser Generation
  • Interessante Fragen:
    • Will OpenAI nicht zu viel auf einmal? Es wirkt, als wolle das Unternehmen in KI vertikal wie horizontal alles abdecken — ist das nicht überzogen?
      • Es gibt durchaus einen ähnlichen Präzedenzfall bei Coinbase
      • In einem Umfeld mit immer härterem Wettbewerb wird das eine sehr schwierige Herausforderung sein
      • Themen rund um ChatGPT und ein schwächelnder Marketplace deuten darauf hin, dass auch OpenAI in Schwierigkeiten geraten könnte
    • Werden sich OpenAI und MS trennen?
      • Die Unterstützung von MS ist für OpenAI eine große Hilfe (Ressourcen, Unternehmenskunden usw.)
      • MS macht jedoch klar, dass es nicht von OpenAI abhängt (Partnerschaft mit Mistral, Übernahme von Inflection AI usw.) und verfügt auch selbst über starke KI-Kompetenzen
      • Umgekehrt will OpenAI womöglich nicht nur von MS abhängig sein. Es könnte die Bereitstellung auch auf anderen Clouds anstreben
      • Angesichts von OpenAIs riesigen Ambitionen und dem Streben von MS nach Kontrolle scheint es möglich, dass beide plötzlich zu Konkurrenten werden

20. Wird 2024 das Jahr der Enterprise-KI?

  • 2023 blieb die Einführung von KI in Unternehmen auf dem Niveau von Proof of Concept
  • Die größten Gewinner generativer KI im Unternehmensumfeld waren 2023 Firmen wie Accenture, die mit KI-Consulting 2 Milliarden US-Dollar Umsatz erzielten
  • Es gibt die Erwartung, dass 2024 zum ersten echten Jahr generativer KI im Enterprise-Bereich wird (traditionelle KI ist bereits weit verbreitet)
  • Es gibt jedoch noch viele offene Baustellen:
    • Die Use Cases beschränken sich auf einige Bereiche wie Developer-Copilots, Enterprise-Wissensmanagement und Customer-Service-Chatbots
    • Es ist unklar, welche Tools gewählt werden sollten (kommerziell/Open Source, große/kleine Modelle, horizontale/vertikale Spezialisierung usw. müssen kombiniert werden)
    • Der Mangel an Talenten ist gravierend (schon Entwickler sind schwer zu finden — umso mehr ML-Engineers)
    • Probleme wie Halluzinationen und Blackbox-Verhalten sind aus Unternehmenssicht erhebliche Risiken
    • Der ROI muss belegt werden (es gibt einzelne Beispiele, etwa Palo Alto Networks, das die Kosten für das Reisemanagement halbiert haben soll)
  • Positiv ist, dass Unternehmen dafür nicht nur Innovationsbudgets, sondern OpEx-Budgets einsetzen wollen
  • Bis zur breiten Einführung dürfte es jedoch noch 3 bis 5 Jahre dauern

21. Wird KI SaaS töten?

  • Eine der populären Ideen des vergangenen Jahres
  • Das Argument lautet: Wenn KI die Produktivität beim Programmieren um das Zehnfache steigert und damit auch kleine Teams maßgeschneiderte SaaS-Produkte bauen können, werden bestehende SaaS-Angebote überflüssig
  • Oder: Wenn KI alles von HR über Finanzen bis Vertrieb übernimmt, braucht es gar keine separate Software mehr
  • Beide Szenarien scheinen in ihrer vollständigen Form schwer realisierbar
  • Wahrscheinlicher ist, dass KI in bestehendes SaaS eingebettet wird und diese Produkte dadurch leistungsfähiger macht

22. Wird KI Venture Capital töten?

  • Unabhängig davon, ob KI die Auswahl von Unternehmen durch VCs und die Wertsteigerung nach Investments automatisieren kann, braucht es eine Debatte darüber, ob die Asset-Klasse VC im KI-Zeitalter überhaupt die richtige Größenordnung hat
  • Ist VC zu klein?
    • Unternehmen wie OpenAI brauchen Milliardenbeträge und noch mehr Kapital
    • Ein erheblicher Teil dieses Kapitals kommt von Großunternehmen wie MS (wahrscheinlich in Form bereitgestellter Rechenleistung)
    • Einige VCs investieren zwar in große Foundation-Model-Unternehmen, doch das ist weit vom traditionellen VC-Modell für Software-Investments entfernt
    • Für KI-Investitionen könnten Mega-Fonds nötig sein (es heißt, Saudi-Arabien wolle gemeinsam mit US-VCs einen 40-Milliarden-US-Dollar-KI-Fonds auflegen)
  • Ist VC zu groß?
    • Wenn KI die Produktivität von Entwicklern um das Zehnfache steigert und automatisierter Vertrieb sowie automatisiertes Marketing möglich werden
    • könnte eine Zeit kommen, in der kleine Teams oder sogar Ein-Personen-Unternehmen Hunderte Millionen US-Dollar Umsatz erzielen und an die Börse gehen
    • Braucht ein Ein-Personen-Unternehmen mit 100 Millionen US-Dollar Umsatz von der Gründung bis zum Exit wirklich VC-Kapital?

23. Wird KI den Consumer-Markt wiederbeleben?

  • Kann der Consumer-Markt, der seit dem Zeitalter von Social Media und Mobile in einer Flaute steckt, durch generative KI wieder anziehen?
  • Spannende Bereiche:
    • Suche: Startups wie Perplexity AI und You.com, die Google nach Jahrzehnten erstmals ernsthaft herausfordern und die Entwicklung von Search Engines zu Answer Engines vorantreiben
    • KI-Companions: Lässt man dystopische Sorgen beiseite — was wäre, wenn jeder seinen eigenen unendlich geduldigen und hilfreichen Begleiter hätte?
    • KI-Hardware: spannende Versuche mit Consumer-KI-Hardware wie Humane, Rabbit und VisionPro
    • Hyperpersonalisierte Unterhaltung: Welche neuen Formen von Unterhaltung und Kunst entstehen, wenn generative KI-Tools besser und günstiger werden?

24. KI und Blockchain: absurd oder spannend?

  • Das Zusammentreffen von KI und Krypto ist perfektes Twitter-Material für Memes
  • Gleichzeitig ist es bedenklich, dass KI-Ressourcen wie Rechenleistung, Daten und Talente bei wenigen Unternehmen konzentriert sind
  • Der Kern von Blockchain ist, dass Teilnehmende über dezentrale Netzwerke Ressourcen und Vermögenswerte teilen
  • Zwischen beiden Bereichen gibt es also Felder, die es zu erforschen lohnt (ein Thema, über das schon seit einigen Jahren nachgedacht wird)
  • Auffällig ist die Beschleunigung relevanter Projekte wie Bittensor (dezentrale KI-Plattform), Render (dezentrale GPU-Rendering-Plattform) und Arweave (dezentrale Datenplattform)
  • Entscheidend ist, ob die Krypto-Branche sich selbst helfen kann — oder ob sie zu KI-bezogenen Memecoins und Betrug verkommt

BONUS: Nicht behandelte Themen

  • Wird KI uns alle töten? AI Doomsday vs. AI-Beschleuniger
  • Regulierung, Privatsphäre, Ethik, Deepfakes
  • Kann KI nur im Silicon Valley entstehen?

[Part III: Financing, M&A & IPO]

Finanzierung

  • Bei AI-Investitionen und Investitionen in andere Bereiche zeigt sich deutlich das Muster einer „Geschichte von zwei Märkten“.
  • Die Gesamtinvestitionen gingen weiter zurück und erreichten 2023 mit 248,4 Mrd. US-Dollar ein Minus von 42 %. In den ersten Monaten 2024 ist eine leichte Erholung zu sehen, insgesamt bleibt der Trend jedoch ähnlich.
  • Die Dateninfrastruktur konnte aus den zuvor genannten Gründen nur sehr schwach Kapital anziehen; Sigma Computing und Databricks waren dabei eher Ausnahmen.
  • Bei AI sah die Lage dagegen völlig anders aus.
  • Der AI-Investitionsmarkt weist folgende Merkmale auf:
    • Das Kapital konzentriert sich auf wenige Startups, insbesondere OpenAI, Anthropic, Inflection AI und Mistral.
    • Ein ungewöhnlich hoher Anteil von Corporate-Investoren (CVC) wie MS, Google und NVIDIA.
    • In den CVC-Deals besteht Unklarheit darüber, wie viel davon tatsächlich Cash ist und wie viel Beteiligungen sind, die als Gegenleistung für bereitgestellte Rechenleistung gewährt wurden.
  • Bemerkenswerte Deals seit der MAD 2023 sind unter anderem die folgenden (chronologisch, keine vollständige Liste):
    • OpenAI (führender Entwickler von Foundation Models): 10,3 Mrd. US-Dollar in zwei Runden, Bewertung 86 Mrd. US-Dollar
    • Adept (Entwickler von Foundation Models): 350 Mio. US-Dollar, Bewertung 1 Mrd. US-Dollar
    • AlphaSense (Plattform für Finanzrecherche): 475 Mio. US-Dollar in zwei Runden, Bewertung 2,5 Mrd. US-Dollar
    • Anthropic (Entwickler von Foundation Models): 6,45 Mrd. US-Dollar in drei Runden, Bewertung 18,4 Mrd. US-Dollar
    • Pinecone (Vektor-DB-Plattform): 100 Mio. US-Dollar, Bewertung 750 Mio. US-Dollar
    • Celestial AI (Plattform für optische Interconnects): 275 Mio. US-Dollar in zwei Runden
    • CoreWeave (GPU-Cloud): 421 Mio. US-Dollar, Bewertung 2,5 Mrd. US-Dollar
    • Lightmatter (Entwickler optischer Chips): 308 Mio. US-Dollar in zwei Runden, Bewertung 1,2 Mrd. US-Dollar
    • Sigma Computing (Cloud-Analyseplattform): 340 Mio. US-Dollar, Bewertung 1,1 Mrd. US-Dollar
    • Inflection (Entwickler von Foundation Models): 1,3 Mrd. US-Dollar, Bewertung 4 Mrd. US-Dollar
    • Mistral (Entwickler von Foundation Models): 528 Mio. US-Dollar in zwei Runden, Bewertung 2 Mrd. US-Dollar
    • Cohere (Entwickler von Foundation Models): 270 Mio. US-Dollar, Bewertung 2 Mrd. US-Dollar
    • Runway (Entwickler generativer Videomodelle): 191 Mio. US-Dollar, Bewertung 1,5 Mrd. US-Dollar
    • Synthesia (Plattform für Videoerstellung im Unternehmenseinsatz): 90 Mio. US-Dollar, Bewertung 1 Mrd. US-Dollar
    • Hugging Face (Open-Source-ML-Plattform): 235 Mio. US-Dollar, Bewertung 4,5 Mrd. US-Dollar
    • Poolside (Entwickler von Foundation Models für Coding): 126 Mio. US-Dollar
    • Modular (AI-Entwicklungsplattform): 100 Mio. US-Dollar, Bewertung 600 Mio. US-Dollar
    • Imbue (Entwickler von AI-Agenten): 212 Mio. US-Dollar
    • Databricks (Lösungen für Daten/Analytik/AI): 684 Mio. US-Dollar, Bewertung 43,2 Mrd. US-Dollar
    • Aleph Alpha (Entwickler von Foundation Models): 486 Mio. US-Dollar
    • AI21 Labs (Entwickler von Foundation Models): 208 Mio. US-Dollar, Bewertung 1,4 Mrd. US-Dollar
    • Together (Cloud für generative AI): 208,5 Mio. US-Dollar in zwei Runden, Bewertung 1,25 Mrd. US-Dollar
    • VAST Data (Datenplattform für Deep Learning): 118 Mio. US-Dollar, Bewertung 9,1 Mrd. US-Dollar
    • Shield AI (AI-Pilot für Luft- und Raumfahrt/Verteidigung): 500 Mio. US-Dollar, Bewertung 2,8 Mrd. US-Dollar
    • 01.ai (Entwickler von Foundation Models): 200 Mio. US-Dollar, Bewertung 1 Mrd. US-Dollar
    • Hadrian (Teilefertigung für Luft- und Raumfahrt/Verteidigung): 117 Mio. US-Dollar
    • Sierra AI (AI-Chatbot für Kundenservice): 110 Mio. US-Dollar in zwei Runden
    • Glean (AI-Suche für Unternehmen): 200 Mio. US-Dollar, Bewertung 2,2 Mrd. US-Dollar
    • Lambda Labs (GPU-Cloud): 320 Mio. US-Dollar, Bewertung 1,5 Mrd. US-Dollar
    • Magic (Entwickler von Foundation Models für Coding): 117 Mio. US-Dollar, Bewertung 500 Mio. US-Dollar

M&A, nicht börsennotierte Transaktionen

  • Der M&A-Markt war seit der MAD 2023 recht ruhig.
  • Viele traditionelle Softwareunternehmen scheinen sich eher auf ihren eigenen Aktienkurs und ihr Gesamtgeschäft zu konzentrieren als auf M&A.
  • Vor allem das verschärfte Kartellumfeld wirkt zusätzlich belastend für potenzielle Käufer.
  • Private Equity (PE) blieb vergleichsweise aktiv und suchte in dem schwächeren Markt nach günstigen Gelegenheiten.
  • Bemerkenswerte Deals auf der MAD waren die folgenden (nach Größe):
    • Broadcom (Halbleiterhersteller), Übernahme von VMWare (Cloud-Unternehmen), $69B
    • Cisco (Netzwerk-/Sicherheitsinfrastruktur), Übernahme von Splunk (Monitoring/Observability), $28B
    • Qualtrics (CX-Management), Going Private durch Silver Lake/CPP, $12.5B
    • Coupa (Plattform für Ausgabenmanagement), Going Private durch Thoma Bravo, $8B
    • New Relic (Monitoring/Observability), Übernahme durch Francisco Partners/TPG, $6.5B
    • Alteryx (Analyseplattform), Going Private durch Clearlake/Insight, $4.4B
    • Salesloft (Revenue-Orchestrierung), Übernahme durch Vista Equity, $2.3B
      • Vista übernahm außerdem Drift, ein Unternehmen für AI-Chatbots im Bereich Customer Experience.
    • Databricks (Data Lakehouse), Übernahme von MosaicML (AI-Entwicklungsplattform), $1.3B
      • Auch Arcion, Okera und andere wurden in kleineren Deals übernommen.
    • Thoughtspot (Analyseplattform), Übernahme von Mode Analytics (BI), $200M
    • Snowflake (Data Warehouse), Übernahme von Neeva (AI-Suchmaschine), $150M
    • DigitalOcean (Cloud), Übernahme von Paperspace (AI-Entwicklung), $111M
    • NVIDIA (AI-Chips), Übernahme von OmniML (Optimierung für Edge AI)
  • Auch die Übernahme von Inflection AI durch MS ist ein ungewöhnlicher Fall.
  • Ob 2024 das Jahr von AI-M&A wird, hängt von der Marktdynamik ab.
  • Im unteren Marktsegment haben viele vielversprechende AI-Startups in den vergangenen ein bis zwei Jahren Kapital aufgenommen. In früheren AI-Boomphasen kam es nach frühen Investments häufig zu teuren Acquihires, die gemessen an den Geschäftsergebnissen sehr hoch bewertet waren. AI-Talente sind weiterhin knapp.
  • Im oberen Marktsegment gewinnt die Konvergenz zwischen führenden Datenplattformen und AI-Plattformen an Dynamik, dürfte aber ihren Preis haben.

IPO

  • AI war auch an der Börse ein heißes Thema. Die Aktien der „Magnificent 7“ (NVIDIA, Meta, Amazon, MS, Alphabet, Apple, Tesla) stiegen 2023 um mehr als 49 % und trieben den Gesamtmarkt nach oben.
  • Reine AI-Aktien gibt es jedoch weiterhin nur sehr wenige. Die wenigen vorhandenen Titel handeln mit einem Aufschlag (die Palantir-Aktie legte 2023 um 167 % zu).
  • Das dürfte Rückenwind für zahlreiche AI-bezogene Startup-IPO-Kandidaten bedeuten. Angeführt von Databricks bereiten mehrere größere Unternehmen wie Celonis, Scale AI, Dataiku und Fivetran ihren Börsengang vor.
  • Spannend bleibt auch, welche Haltung OpenAI und Anthropic zu einem Börsengang einnehmen werden.
  • Der IPO-Markt war 2023 allerdings sehr schwach. Nur wenige MAD-bezogene Unternehmen konnten erfolgreich an die Börse gehen:
    • Klaviyo (Marketing-Automatisierung): Börsengang im September 2023, Bewertung $9.2B
    • Reddit (lizenziert Inhalte an AI-Unternehmen): Börsengang im März 2024, Bewertung $6.4B
    • Astera Labs (Halbleiter für AI/Cloud): Börsengang im März 2024, Bewertung $5.5B

Fazit

  • Wir leben in einer ganz besonderen Zeit. Wir stehen am Anfang eines Paradigmenwechsels.
  • Jetzt ist die Zeit zum Experimentieren und zum Ausprobieren von Neuem. Wir stehen erst ganz am Anfang.

Verwandte Beiträge