Die bittere Lektion für AI-Gründer

• Zusammenfassung der vierteiligen Artikelserie von Lukas Petersson, Gründer des AI-Safety-Startups Andon Labs (YC w24)
  • Historisch haben sich im AI-Bereich allgemeine Ansätze immer durchgesetzt
  • Gründer im Bereich aktueller AI-Anwendungen wiederholen die Fehler, die frühere AI-Forscher gemacht haben
  • Bessere AI-Modelle werden allgemeine AI-Anwendungen ermöglichen und gleichzeitig den Mehrwert der zugehörigen Software rund um AI-Modelle verringern
• Kapitel 1: Die Geschichte wiederholt sich
• Kapitel 2: Kein Wettbewerbsvorteil
• Kapitel 3: Auf den Spuren der Geschichte
• Kapitel 4: Du bist ein Zauberer

---

Kapitel 1: Die Geschichte wiederholt sich (History Repeats Itself)

tl;dr:

• Die jüngsten Fortschritte bei AI ermöglichen neue Produkte, die verschiedenste Probleme lösen
• Die meisten Produkte arbeiten jedoch innerhalb der begrenzten Fähigkeiten aktueller Modelle und nutzen nicht die wahre Stärke von AI: Flexibilität
• Die Geschichte der AI zeigt immer wieder, dass sich allgemeine Ansätze am Ende durchsetzen. Richard Sutton betont dies in "The Bitter Lesson"
• Heutige AI-Gründer neigen dazu, dieselben Fehler zu wiederholen, die frühere AI-Forscher gemacht haben

Zusammenfassung von Richard Suttons Essay: The Bitter Lesson. (koreanische Übersetzung)

• Es vermittelt die folgende Lehre:
  • AI-Forscher versuchen, Wissen in den Agenten zu integrieren
  • Das ist kurzfristig wirksam und befriedigend
  • Langfristig stagniert dadurch der Fortschritt und wird sogar behindert
  • Letztlich entstehen Durchbrüche durch die Skalierung von Rechenleistung, die auf dem genau gegenteiligen Ansatz beruht
• Dieses Muster wurde in der AI-Forschung wiederholt beobachtet, und es wird gewarnt, dass es bis heute nicht beendet ist

AI-Produkte und The Bitter Lesson

• AI-Produkte bestehen im Allgemeinen aus einem AI-Modell und der darum herum gebauten Software
• Es gibt zwei Wege, die Leistung zu verbessern:
  1. Engineering-Arbeit, die Fehler reduziert, indem die Software stärker eingeschränkt wird
  2. Warten, bis bessere Modelle veröffentlicht werden
• Je stärker sich Modelle verbessern, desto geringer wird der Wert dieser Engineering-Arbeit
• Der Rückgang des Werts von Prompt Engineering nach der Veröffentlichung neuer Modelle von OpenAI zeigt dies

Arten von Einschränkungen und AI-Produkte

• Die Einschränkungen von AI-Produkten lassen sich in zwei Kategorien einteilen:
  • Spezifität: Software, die auf ein bestimmtes Problem fokussiert ist (vertikale Lösung)
  • Autonomie: Die Fähigkeit der AI, Aufgaben selbstständig auszuführen
• Auf dieser Grundlage lassen sich AI-Produkte nach Spezifität (Vertical vs. Horizontal) und Autonomie (Workflow vs. Agent) klassifizieren
  • Vertical Workflow
    • Ein System, das in einer festen Reihenfolge arbeitet, um ein bestimmtes Problem zu lösen
    • Harvey ist ein typisches Beispiel: ein Workflow-System, das dafür ausgelegt ist, Probleme in einem engen Bereich wie bestimmten juristischen Aufgaben zu bearbeiten
  • Vertical Agent
    • Ein System, das in einem bestimmten Aufgabenbereich autonom arbeitet und während des Prozesses selbst Entscheidungen trifft
    • Devin ist ein typisches Beispiel: Es führt wiederkehrende Aufgaben mit begrenzten Tools und Daten aus und passt seine Arbeitsschritte bei Bedarf an
  • Horizontal Workflow
    • Ein allgemeines Workflow-System, das verschiedene Probleme lösen kann
    • ChatGPT ist ein typisches Beispiel: Es antwortet auf unterschiedliche Arten von Eingaben nach vordefinierten Verfahren, besitzt aber keine vollständige Autonomie
  • Horizontal Agent
    • Ein vollständig autonomes System, das mit verschiedensten Problemen umgehen kann
    • Claude computer-use ist ein typisches Beispiel: Es verwendet die Standardsoftware eines Unternehmens, arbeitet nach den Anweisungen des Nutzers und löst Probleme auf eine menschenähnliche Weise

Die Verbindung zwischen Vertical Workflow und The Bitter Lesson

• Die meisten auf dem Demo Day vorgestellten Produkte fallen in die Kategorie Vertical Workflow
  • Die Zuverlässigkeit aktueller Modelle ist noch nicht hoch genug, um andere Ansätze leicht umzusetzen
  • Selbst komplexe Probleme werden oft auf Vertical Workflows reduziert, um akzeptable Leistung zu erreichen
• Solche Lösungen lassen sich durch Engineering-Arbeit verbessern, aber es gibt Grenzen
  • Bei Problemen, die mit aktuellen Modellen nicht lösbar sind, ist es die bessere Strategie, auf weiterentwickelte Modelle zu warten
  • Beobachtung von Leopold Aschenbrenner: Die Wartezeit auf bessere Modelle könnte kürzer sein als die erforderliche Engineering-Arbeit

Die Beziehung zwischen The Bitter Lesson und heutigen AI-Produkten

• AI-Forscher entwickelten wissensbasierte Lösungen für "akzeptable Leistung", doch am Ende wurden sie von allgemeinen Lösungen übertroffen, die mehr Rechenressourcen nutzten
• Die heutige Art, AI-Produkte zu entwickeln, ähnelt diesem Muster stark

Die vier Beobachtungen aus The Bitter Lesson und ihre Anwendung auf Einschränkungstypen

Die vier zentralen Beobachtungen aus Bitter Lesson spiegeln sich auch deutlich in den Einschränkungen von AI-Produkten bei Autonomie und Spezifität wider. Erklärt nach den jeweiligen Einschränkungen sieht das wie folgt aus:

1. Erste Beobachtung: AI-Forscher versuchen, Wissen in den Agenten zu integrieren

• Einschränkung der Autonomie:
  • Entwickler experimentieren mit autonomen Agenten, doch deren Zuverlässigkeit ist gering
  • Stattdessen codieren sie die Arbeitsschritte als Workflow fest ein, sodass das System demselben Verfahren folgt, mit dem sie selbst das Problem lösen würden
• Einschränkung der Spezifität:
  • Entwickler wollen ein allgemeines System zur Dokumentenanalyse bauen, stoßen aber wegen Zuverlässigkeitsproblemen auf Schwierigkeiten
  • Stattdessen konzentrieren sie sich auf bestimmte Dokumenttypen wie Finanzberichte und codieren konkrete Metriken und Prüfregeln fest ein

2. Zweite Beobachtung: Kurzfristig ist das wirksam und für Forscher befriedigend

• Einschränkung der Autonomie:
  • Das feste Codieren von Workflows erhöht die Stabilität
• Einschränkung der Spezifität:
  • Die Spezialisierung auf eng begrenzte Dokumente und Metriken verbessert die Genauigkeit

3. Dritte Beobachtung: Langfristig stagniert der Fortschritt und wird sogar behindert

• Einschränkung der Autonomie:
  • Fest codierte Workflows können mit neuen Situationen nicht umgehen und führen daher zu ungenauen Ergebnissen
• Einschränkung der Spezifität:
  • Systeme, die nur bestimmte Probleme behandeln können, sind nicht in der Lage, verwandte Aufgaben wie die Analyse zusammengeführter Dokumente oder Earnings Calls zu bewältigen
  • Für jede Aufgabe wird dann ein separates spezialisiertes System benötigt

4. Vierte Beobachtung: Durchbrüche entstehen durch die Skalierung von Rechenressourcen

• Einschränkung der Autonomie:

  • Neue Modelle finden dynamisch geeignete Vorgehensweisen, korrigieren bei Bedarf Fehler und ermöglichen zuverlässige autonome Agenten

• Einschränkung der Spezifität:

  • Neue Modelle können alle Geschäftsdokumente umfassend verstehen und relevante Informationen extrahieren, sodass spezialisierte Systeme nicht mehr nötig sind

• Bei Problemen, die Autonomie erfordern, liefern autonomere Produkte bessere Leistung

• Beim Umgang mit komplexen und breiten Eingaberäumen liefern weniger spezialisierte Produkte bessere Ergebnisse

Abschluss: AI-Startups und The Bitter Lesson

• Dieser Text ist der erste Teil einer vierteiligen Serie, die die Rolle von Startups in der AI untersucht, und betont das historische Muster, dass AI-Modelle mit Domänenwissen kontinuierlich durch Modelle ersetzt werden, die Rechenressourcen nutzen
• Heutige AI-Produkte zeigen ein erstaunlich ähnliches Bild zu diesem Muster
• Software zu entwickeln, um die Grenzen aktueller Modelle auszugleichen, ist eine Strategie mit hoher Misserfolgswahrscheinlichkeit, besonders in einer Situation, in der sich Modelle schnell verbessern
• Hinweis von YC-Partner Jarred: Vertikale Workflow-LLM-Apps der ersten Generation werden durch die nächste GPT-Modellgeneration ersetzt
• Rat von Sam Altman: Wichtig ist, Startups aufzubauen, die bessere Modelle nicht fürchten müssen, sondern sich auf sie freuen können
• Viele Gründer in der AI-Application-Layer freuen sich auf die Veröffentlichung neuer Modelle, doch das kann ein gefährliches Signal sein
  • Wenn bessere Modelle erscheinen, ist die Wahrscheinlichkeit hoch, dass ihr aktueller Wettbewerbsvorteil schrumpft
  • Besonders aus Sicht der Produktleistung, wenn es darum geht, schwierigere Probleme effektiver zu lösen, wird dieses Risiko noch deutlicher
• Im nächsten Text wird eine weitere Dimension untersucht, nämlich Marktadoption, und es wird diskutiert, warum bessere Leistung nicht automatisch Markterfolg garantiert

---

Kapitel 2: Kein Wettbewerbsvorteil (No Powers)

tl;dr:

• In der Geschichte der AI hat sich oft gezeigt, dass Ansätze, die Modellgrenzen mit Domänenwissen ausgleichen wollen, am Ende von verallgemeinerten Ansätzen verdrängt werden, die Rechenressourcen nutzen
• Vertikale AI (vertical AI) kommt zuerst in den Markt, indem sie die Grenzen aktueller Modelle durch vordefinierte spezifische Arbeitsabläufe (Workflows) kompensiert und so die Genauigkeit erhöht
• Horizontale AI (horizontal AI) nutzt wie ChatGPT allgemeine Modelle und entwickelt sich kontinuierlich weiter, wodurch sie mit jeder Modellverbesserung in vielen Bereichen bessere Leistung zeigen kann
• Langfristig könnte horizontale AI der vertikalen AI überlegen sein, da sie trotz geringerer Einschränkungen höhere Leistung und mehr Flexibilität bietet

Schwierigkeitsgrad des Problems und Leistungskurve

• Figure 1 zeigt als einfaches Beispiel, dass vertikale AI zwar zuerst in den Markt kommt, horizontale AI mit verbesserten Modellen die Leistung jedoch letztlich überholt
• Bei hoher Problemschwierigkeit (Figure 2) erreicht vertikale AI möglicherweise überhaupt keine ausreichende Leistung; erst die verbesserte horizontale AI macht eine Lösung möglich
• Die Probleme, auf die vertikale AI derzeit angewendet werden kann, sind vergleichsweise „Probleme mit geringer Schwierigkeit“; in dieser Kategorie kann vertikale AI zwar First-Mover-Effekte nutzen, ihre langfristige Wettbewerbsfähigkeit bleibt jedoch ungewiss

Das Konzept des „Remote-Mitarbeiters“, das horizontale AI bietet

• Künftig könnte sich horizontale AI in eine Form entwickeln, die wie ein Remote-Mitarbeiter einen Computer und Accounts erhält und benötigte Daten selbstständig finden und nutzen kann
• Die Benutzeroberflächen, an die viele Nutzer durch ChatGPT und ähnliche Produkte bereits gewöhnt sind, könnten schrittweise erweitert werden, sodass Unternehmen sie schnell einführen können
• Da horizontale AI mit jeder Modellverbesserung verschiedene Funktionen sofort aufnehmen kann, fällt es ihr leichter, einen Wettbewerbsvorteil gegenüber vertikaler AI zu halten

Frühere Erfahrung: AcademicGPT

• Zur Zeit von GPT-3.5 wurde AcademicGPT eingeführt, um die Beschränkung bei langen Eingaben zu überwinden; als GPT-4 lange Eingaben jedoch standardmäßig unterstützte, wurde die bestehende Lösung schnell verdrängt
• Wie YC-Partner Jared sagte: „Die erste Generation von LLM-Apps wurde größtenteils von der nächsten Modellgeneration verdrängt.“
• Auch vertikale AI, die mehrere Funktionen gleichzeitig anbietet, läuft Gefahr, letztlich denselben Prozess zu durchlaufen, sobald sich die Modellleistung verbessert

Analyse von Helmers 7 Powers

• In diesem Abschnitt wird anhand von Hamilton Helmers 7 Wettbewerbsvorteilen (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource) untersucht, ob vertikale AI mit horizontaler AI konkurrieren kann

• Switching Cost (Wechselkosten)

  • Selbst wenn sich Nutzer an die UI oder den Workflow einer bestimmten vertikalen AI-Lösung gewöhnt haben, kann horizontale AI ähnlich wie bei der Einstellung neuer Mitarbeitender durch einfaches Onboarding eingeführt werden
  • Da bereits immer mehr Unternehmen horizontale AI-Lösungen wie ChatGPT einsetzen, dürfte der Wechselprozess nicht besonders schwierig sein
  • Auch preislich kann horizontale AI Einsparungen bringen, weil sie mehrere vertikale Lösungen konsolidieren kann

• Counter Positioning (Gegenpositionierung)

  • Vertikale AI kann mit auf einen bestimmten Markt spezialisierten Lösungen maßgeschneiderten Mehrwert bieten, doch mit der fortschreitenden Modellverbesserung könnte horizontale AI insgesamt die bessere Leistung zeigen
  • Vertikale AI steht bei jeder Einführung neuer Modelle vor dem Dilemma, durch bestehende „Beschränkungen“ ihre Differenzierung zu verlieren oder bei Aufhebung dieser Beschränkungen letztlich einem horizontalen Modell zu ähneln

• Scale Economy (Skaleneffekte)

  • Wie SaaS kann auch vertikale AI mit wachsender Größe ihre Kosten senken, doch horizontale AI hat ebenfalls den Vorteil, Kosten über viele Einsatzfelder hinweg zu verteilen
  • Durch den Einsatz horizontaler Modelle, die mit umfangreichen R&D-Investitionen entwickelt wurden, für verschiedenste Anwendungszwecke lassen sich Kostensenkungen zusätzlich beschleunigen

• Network Economy (Netzwerkeffekte)

  • Sowohl vertikale als auch horizontale AI können sich auf Basis von Nutzerdaten verbessern, doch horizontale AI hat den großen Vorteil, aus einer viel breiteren Nutzerbasis Feedback zu erhalten und so die Gesamtleistung des Modells zu steigern
  • Da Daten aus verschiedensten Bereichen genutzt werden, um das gesamte Modell zu verbessern, kann sie sich in einem Tempo weiterentwickeln, das für vertikale AI kaum zu bewältigen ist

• Brand Power (Markenstärke)

  • Markenstärke ist ein Vorteil, den sich kleine Startups nur schwer in einer frühen Phase erarbeiten können
  • Unternehmen wie OpenAI oder Google mit bereits starker Markenwirkung sind Ausnahmen, doch die meisten vertikalen AI-Startups können Markenstärke kaum als Waffe nutzen

• Process Power (Prozessstärke)

  • Auch Prozessstärke ist ein Vorteil, den große Unternehmen durch über lange Zeit verfeinerte operative Systeme gewinnen
  • Für Startups in der Frühphase ist diese Kategorie praktisch nicht relevant

• Cornered Resource (exklusive Ressource)

  • Eine exklusive Ressource wird nur dann zu einem großen Wettbewerbsvorteil, wenn ein bestimmtes Unternehmen allein über bestimmte Daten oder Ressourcen verfügt und diese in dem betreffenden Bereich zwingend notwendig sind
  • Viele AI-Startups behaupten, über „exklusive Daten“ zu verfügen, doch in der Praxis sind diese Daten oft nicht wirklich exklusiv oder das Modell kann auch ohne sie ausreichend trainiert werden
  • Unternehmen, die ausnahmsweise tatsächlich über eine echte exklusive Ressource verfügen, könnten trotz des Fortschritts horizontaler AI wettbewerbsfähig bleiben

Fazit

• Letztlich geraten die meisten vertikalen AI-Lösungen selbst in einem Szenario mit First-Mover-Effekten unter Druck, sobald horizontale AI die bessere Leistung erreicht
• Nur wenn aus Helmers 7 Powers eine echte „Cornered Resource“ gesichert wird, hat vertikale AI womöglich die Chance auf langfristiges Momentum
• Wie im Fall von AcademicGPT, das nach der Einführung von GPT-4 schnell abstürzte, könnten auch vertikale AI-Lösungen mit zusätzlichen Funktionen am Ende ein ähnliches Schicksal erleben, sobald sich die Modelle verbessern
• Im nächsten Kapitel (Kapitel 3) wird konkret untersucht, wann und wie horizontale AI in Form eines „Remote-Mitarbeiters“ Realität werden könnte und welche technischen, regulatorischen, vertrauensbezogenen und wirtschaftlichen Hürden dem im Weg stehen

---

Kapitel 3: Eine Fußnote der Geschichte (A Footnote in History)

• Der CEO von Anthropic hat ein Interview veröffentlicht, in dem er das Konzept eines "virtual collaborator" erklärt
• Dies ähnelt dem Konzept, das der Autor in dieser Reihe als "horizontal AI product" bezeichnet
• Es wird erwartet, dass OpenAI bald "Operator" ankündigt; laut geleaktem Benchmark liegt die Leistung deutlich vor Claude (im OSWorld-Benchmark erreicht Claude 22 %, Operator 38 %)
• Diese Leistungssteigerung liegt im erwarteten Rahmen, und der Autor hält an seiner Prognose von vor drei Monaten unverändert fest
• Im vorherigen Kapitel wurde erklärt, warum es für vertikale AI-Anwendungen schwierig ist, ihre Wettbewerbsfähigkeit zu halten
  • Der Leistungsunterschied zu allgemeinen AI-Lösungen schrumpft
  • Sobald horizontale AI-Produkte wettbewerbsfähig werden, haben vertikale AI-Produkte kaum noch Möglichkeiten zur Verteidigung
• Die entscheidende Frage lautet: „Wann erfolgt der Übergang von vertikaler AI zu horizontaler AI?“
  • Wenn das erst in zehn Jahren geschieht, könnte es sinnvoll sein, jetzt vertikale AI zu entwickeln
  • Wenn die Veränderung aber bereits innerhalb von 1–2 Jahren kommt, ist eine völlig andere Strategie nötig
• Der Übergang von vertikaler zu horizontaler AI wird nicht in allen Branchen gleichzeitig stattfinden
• Da sich die meisten AI-Startups derzeit jedoch auf vergleichsweise einfache Märkte konzentrieren, ist zu erwarten, dass sich der Wandel in den wichtigsten Branchen in ähnlichen Zeiträumen vollzieht
• Bis 2027 dürften vertikale AI-Produkte in den meisten Branchen nur schwer überlebensfähig sein
• Mit „Adoption“ ist gemeint, welches Produkt Nutzer wählen, wenn sie ein neues Problem lösen oder die Lösung eines bestehenden Problems ändern
• Die folgenden Faktoren werden nicht berücksichtigt
  • Marktanteil: Bestehende Verträge und Ähnliches können Einfluss haben
  • Absolute Größe: AI wird den Markt durch neue Anwendungsfälle vergrößern, doch in dieser Analyse werden nur relative Veränderungen betrachtet
  • Potenzieller Wert: Bewertet wird, welche Lösung Menschen zum jetzigen Zeitpunkt wählen; mögliche zukünftige Verbesserungen sind nicht enthalten
• Wenn sich der Fluss beispielsweise von A nach B verlagert, bedeutet das, dass früher A bevorzugt wurde, inzwischen aber B als die bessere Option gilt

Konzepte von vertikaler/horizontaler AI sowie Workflow/Agenten

• „Vertikale AI“ und „horizontale AI“ bezeichnen unterschiedliche Arten von AI-Produkten
• „Workflow“ und „Agent“ sind ebenfalls Konzepte zur Einordnung von AI-Produkten
• In diesem Text werden Workflow- und Agent-Konzepte innerhalb horizontaler AI-Produkte zusammengefasst erläutert
  • Es ist wahrscheinlich, dass dasselbe Unternehmen Produkte entwickelt, die beide Funktionen enthalten
  • Zum Beispiel kann ChatGPT Agent-Funktionen hinzufügen und zugleich seine bestehende Workflow-Basis beibehalten

Vergangenheit

• (1) Die Zeit vor ChatGPT war eine Phase, in der traditionelle Software den Markt dominierte
• (2) Mit der Veröffentlichung von ChatGPT entstand das erste wirklich bedeutende horizontale AI-Produkt
• (3) Nach dem Erscheinen der GPT-3.5 API kamen erstmals mehrere auf AI spezialisierte vertikale Produkte auf den Markt

Dieses Jahr

• (4) Für 2025 wird erwartet, dass sich die Modellleistung so stabilisiert, dass sie für praxistaugliche Agenten eingesetzt werden kann
  • Agenten, die bisher nur in Forschungsprojekten oder für begrenzte Testzwecke genutzt wurden, dürften dann breit eingeführt werden
  • Auch bestehende vertikale Workflow-Produkte könnten sich in Richtung AI-Agenten wandeln
• (5) Selbst wenn Agenten aufkommen, dürften vertikale Workflows bis 2025 ihre dominante Stellung behalten
  • Dafür sorgen sowohl die Gewohnheit der Nutzer, ungern bereits eingeführte Tools zu wechseln, als auch die Trägheit von Entwicklern, weiter auf bestehende Engineering-Assets zu setzen
• (6) Große horizontale AI-Produkte wie ChatGPT, Claude und Gemini werden voraussichtlich ihre Funktionen erweitern und mehr vertikale Bereiche abdecken
  • Spezialisierte Funktionen vertikaler AI-Produkte könnten schnell in horizontale AI-Produkte integriert werden
  • ChatGPT hat bereits begonnen, sich mit Desktop-Apps zu verbinden

Nahe Zukunft

• (7) Es wird erwartet, dass sich die Fähigkeitslücke zwischen horizontalen AI-Agenten und menschlichen Arbeitskräften zunehmend schließt
  • Auch wenn sie kein Expertenniveau erreichen, dürften sie genug Leistung bieten, um allgemeine Büroarbeit in erheblichem Umfang zu automatisieren
  • Dadurch könnte die Existenzberechtigung vertikaler AI-Lösungen schwächer werden
  • Konkrete Beispiele:
    • Einzelne Nutzer könnten komplexe Aufgaben wie Steuererklärungen oder die Jobsuche horizontalen Agenten überlassen
    • Unternehmen könnten einen erheblichen Teil von Junior-Kräften ersetzen oder abbauen
    • Es könnten Fälle entstehen, in denen eine einzelne Person allein Unicorn-Wert schafft
• (8) Traditionelle Software dürfte ihren Wert weiterhin als Interface behalten, das von Agenten genutzt werden kann
  • Für Agenten könnte es kosteneffizienter sein, bestehende Software zu nutzen, als sämtliche Software direkt neu zu erstellen
  • Besonders allgemeine und horizontale Software hat dieser Analyse zufolge gute Überlebenschancen
• (9) Bei vertikalen AI-Produkten werden voraussichtlich nur wenige überleben, nämlich jene, die sich die in Kapitel 2 erwähnten defensiven Ressourcen gesichert haben, etwa proprietäre Daten oder Patente
  • Sie könnten diese Ressourcen möglicherweise auch zu hohem Wert verkaufen

2024 – Hat die Entwicklung stagniert?

• Die Behauptung, AI-Modelle hätten 2024 stagniert, gilt als wenig überzeugend
  • Schon vor der Veröffentlichung von o3 verbesserte sich die Modellleistung in vielen Bereichen kontinuierlich, darunter GPT-4, Claude und Open Weight-Modelle
  • Auch Benchmark-Werte bei ARC-AGI, GPQA Diamond und anderen haben sich in diesem Trend stark verbessert
• Anthropic entwickelte sich rasch von Claude 2 über Claude 3 bis zu Claude 3.5 Sonnet weiter; zudem wird vermutet, dass intern nicht veröffentlichte Upgrades genutzt wurden
• Daher gilt die Ansicht als schlecht begründet, dass 2024 ein Jahr ohne Fortschritte bei AI-Modellen gewesen sei

Potenzielle Hindernisse

• Model Stagnation: Zwar gab es 2024 keine Stagnation, doch es besteht die Sorge, dass die Modellentwicklung ab 2025 ins Stocken geraten könnte

  • Ilya Sutskever sprach auf der NeurIPS über die Grenzen des traditionellen Pre-training-Ansatzes, verwies aber zugleich auf andere Wege wie Test-time compute
  • Führende AI-Forschungslabore und Unternehmen investieren weiterhin massiv in große Compute-Ressourcen

• Regulation: Unerwartete Regulierung könnte die AI-Entwicklung einschränken

• Trust Barriers: Nutzer haben Bedenken hinsichtlich Stabilität und Vertrauenswürdigkeit von Agenten

  • Mit Verweis auf die historische Angst vor der Automatisierung von Aufzügen wird vermutet, dass auch dies mit der Zeit überwunden wird

• AI Labs Hesitate: Anthropic oder OpenAI könnten Teile der Nutzerinteraktion bewusst begrenzt halten, selbst wenn die eigentlichen technischen Fähigkeiten vorhanden sind

• Expensive Inference: Wie das Beispiel o3 zeigt, kann leistungsstarke Inferenz sehr hohe Kosten verursachen

  • Allerdings sinken die Inferenzkosten im Laufe der Zeit, und es ist auch gut möglich, dass Agenten nicht für jede Aufgabe dieselbe Hochleistungs-Inferenz einsetzen

• Nimmt man diese Faktoren zusammen, bleiben Prognosen zur technologischen Entwicklung zwar schwierig, doch für vertikale AI-Startups dürfte die Zeit knapp werden

• Es wird eine U-förmige Wertkurve vorgestellt, nach der der Wert bestehender Engineering-basierter Ansätze mit fortschreitender Verbesserung der AI-Modelle schnell verschwinden kann

Hinweise

• Die bei o3 gezeigte Ausweitung von Test-time compute wird als ein Ergebnis beschrieben, das durch frühere Forschung bereits vorhersehbar war
• Wie das Beispiel AlphaZero zeigt, kann die Leistung in verifizierbaren Umgebungen sehr schnell übermenschliches Niveau erreichen
• o3 ist in Bereichen wie Coding und Mathematik herausragend, zeigt aber in anderen Bereichen wie kreativem Schreiben keinen großen Unterschied zu o1
• Daraus ergibt sich die Implikation, dass es für Gründer günstiger sein könnte, statt neuer vertikaler AI eher andere Richtungen zu verfolgen, die mit breiter angelegten oder proprietären Ressourcen arbeiten

---

Kapitel 4: Du bist ein Zauberer (You’re a wizard Harry)

Gründer sind wie Zauberer

• Sie besitzen die Fähigkeit, aus dem Nichts etwas zu erschaffen
• Um ein neues Unternehmen zu gründen, braucht es originelles Denken
• Zitat von Paul Graham (PG): „Ideen müssen nicht nur richtig, sondern auch neuartig sein. Man sollte nichts anfangen, von dem alle bereits meinen, es sei eine gute Idee.“
• Viele Gründer verlieren ihren unabhängigen Blick, weil sie von dem beeindruckenden Umsatzwachstum ihrer Mitbewerber geblendet werden
• Wenn alle dasselbe tun und es so aussieht, als würde es funktionieren, ist unabhängiges Denken schwierig
• Der Autor versucht, unabhängig zu denken, und hofft, dass diese Ideen schlecht klingen

Zukunft horizontaler Agenten und Wettbewerb

• Es wird erwartet, dass horizontale Agenten, die die AI-Applikationsschicht dominieren könnten, von AI-Laboren entwickelt werden
• Zwar könnte es durch Unterschiede in der Modellleistung einen einzelnen Sieger geben, wahrscheinlicher ist jedoch intensiver Wettbewerb zwischen Anthropic, OpenAI, GDM und xAI
• Das führt kurzfristig zu Preiswettbewerb, von dem Endnutzer profitieren
• Selbst wenn AI-Labore kurzfristig keinen großen monetären Wert abschöpfen, dürften sie weiterhin eine sehr starke Position einnehmen
• Deshalb ist es für Gründer sinnvoll, ihr Startup im Kontext seiner Beziehung zu diesen Laboren zu denken

Der Ansatz als Kunde

• Wie in Kapitel 2 besprochen, ist es möglich, ein vertikales AI-Produkt auf Basis einer LLM API zu bauen, aber nur dann, wenn exklusiver Zugang zu wichtigen Ressourcen besteht
• Wer ein vertikales AI-Produkt aufbauen will, muss enorme Anstrengungen unternehmen, um solche Ressourcen zu finden

Ansatz als Wettbewerber

• Wenn horizontale Agenten die Zukunft sind, warum sollte man sie dann nicht selbst bauen? Drei Ansätze im Überblick
• Marktvorsprung
  • AI-Labore werden erst dann ernsthaft mit vertikalen Workflows konkurrieren, wenn Modelle zuverlässig genug sind, um mit minimalem Engineering-Aufwand horizontale Agenten zu bauen
  • Durch Engineering-Aufwand auf ältere Modelle könnte man theoretisch vor den Laboren in den Markt eintreten, aber das ist nicht sicher
  • Leopold Aschenbrenner meint, dieser Aufwand könnte länger dauern als der Bau des nächsten Modells: „Es könnte dauern, bis viele Aufgaben von Remote-Arbeitern automatisiert werden können, und in der Zwischenzeit sind Zwischenmodelle womöglich noch nicht vollständig ausgeschöpft und integriert“
  • Unabhängig davon, wer zuerst in den Markt kommt, dürfte dieser Vorsprung voraussichtlich nicht lange anhalten
• Agenten-API-Wrapper
  • Ein Mitbewohner fragte: „Gibt es auf der Welt niemanden mit UI-Skills?“
  • Das deutet auf zwei Probleme hin: 1) Margen sind wegen API-Kosten nicht nachhaltig, 2) Labore veröffentlichen ihre besten Modelle nicht offen (ChatGPT verwendet exklusive Modelle für Suche, Web-Browsing usw.)
  • Derzeit konkurriert niemand direkt mit ChatGPT, indem er die GPT-API nutzt, und dieses Muster dürfte sich bei horizontalen Agenten wiederholen
• Open-Source-Modelle
  • Open-Source-Modelle könnten einen weiteren Weg eröffnen
  • Perplexity zeigt, dass man mit Laboren bei horizontalen Produkten konkurrieren kann
  • Allerdings schneiden Open-Source-Modelle bei einfachen Benchmarks gut ab, haben aber Schwierigkeiten mit komplexen Agentenaufgaben
  • Llama-3.1-405b liegt bei MLE-bench deutlich hinter State-of-the-Art-Modellen zurück
  • Andon Labs ist auf Benchmarks dieser Art spezialisiert, was mit unseren Beobachtungen übereinstimmt
  • Deepseek V3 und R1 wurden mit sehr beeindruckenden Ergebnissen veröffentlicht, aber das gilt auch für o3, und von Anthropic heißt es, intern gebe es noch bessere Versionen
  • Open-Source-Modelle können zwar nah an den State of the Art herankommen, aber es ist fraglich, dass sie diesen übertreffen werden
  • Für Wettbewerb im horizontalen Spiel könnte es jedoch ausreichen
  • Die Inferenzkosten werden weiterhin sehr hoch sein

Ansatz als Zulieferer

• Wenn AI-Labore tatsächlich so mächtig werden, ist es eine hervorragende Position, ihr Zulieferer zu sein
• Sie werden ganz offensichtlich enorme Rechenleistung und Energie benötigen
• Wenn Leos Analyse stimmt, könnten sie sogar mehr brauchen als erwartet
• Diese Chance erfordert Branchen-Know-how, was für Gründer in der heutigen AI-Application-Layer nicht unbedingt naheliegend ist
• Aber denk daran: Du bist ein Zauberer
• Die Labore kaufen außerdem Daten von Dritten
• Scale AI beweist, dass das ein hervorragendes Geschäft sein kann
• Allerdings ist fraglich, ob AI-Labore „Self-Play“ zum Laufen bringen können
• AlphaZero wurde ohne externe Daten trainiert, was als Heiliger Gral zukünftiger AI-Modelle gilt
• Falls sie Self-Play nicht zum Funktionieren bringen, wäre die Alternative wohl, mehrere nachgelagerte Trainingsdatensätze zu kombinieren
• In dieser Welt wäre der Verkauf von Daten wahrscheinlich eine gute Wahl

Ansatz als Ökosystem-Beitragender

• Ein letzter prüfenswerter Ansatz im Verhältnis zu AI-Laboren ist, ein Beitragender zum Ökosystem zu werden
• Das bedeutet, Tools zu bauen, die horizontalen Agenten helfen, aber entscheidend ist, dass sie vom Agenten selbst getrennt sein müssen
• Wie in Kapitel 3 gezeigt, wird traditionelle Software bestehen bleiben, weil Agenten effiziente Interfaces brauchen
• Agenten könnten zwar ihre eigene Software schreiben, aber die Inferenzkosten könnten das unpraktisch machen
• Ökosystem-Akteure laufen jedoch Gefahr, zur Commodity zu werden, und der größte Teil des Werts könnte anderswo abgeschöpft werden
• Das hängt davon ab, wie hoch die Inferenzkosten (inference cost) für den Betrieb horizontaler Agenten sind
  • Wenn die Inferenzkosten niedrig sind, wird es üblicher sein, dass Agenten die benötigte Software selbst erzeugen

Was, wenn horizontale AI-Agenten erst spät kommen?

• Die Timeline ist extrem wichtig
  • Wenn horizontale Agenten erst in 10 Jahren wettbewerbsfähig sind, wäre es eine hervorragende Idee, jetzt vertikale AI-Workflows zu bauen
  • Das ist genug Zeit, um ein großes und robustes Unternehmen aufzubauen
• Angesichts des Entwicklungstempos der AI-Labore sind 10 Jahre jedoch unrealistisch
  • Wie wäre es dann mit 4 Jahren?
  • 4 Jahre reichen vielleicht nicht, um ein Großunternehmen aufzubauen, bieten aber genügend Chancen für Iteration
  • Ein Start in der AI-Application-Layer könnte später den Wechsel zu einem Vendor oder Ökosystem-Akteur erleichtern

Epilog: Ist das ein Fehler von YC (Y Combinator)?

• Oberflächlich betrachtet könnte es so wirken, als treffe YC die falsche Wahl
  • Derzeit konzentriert YC den Großteil seiner Investments auf vertikale AI-Produkte
  • Doch dieser Markt könnte bald verschwinden
• Der Autor hat jedoch zu wenig Expertise in VC (Venture Capital), um ein sicheres Fazit zu ziehen
  • Er teilt lediglich seine Verwirrung und seine Überlegungen
• YC behauptet, eine vergleichsweise neutrale Investmentstrategie zu verfolgen
  • In smarte Leute investieren und hoffen, dass sie die besten Ideen finden
  • Das ist eine starke Strategie, und Hunderte Gründer könnten die Zukunft besser vorhersagen als 14 YC-Partner
• Der Autor befürchtet jedoch, dass YCs Batch-System kurzfristiges Denken fördern könnte
  • Bei YC ist es sehr wichtig, wöchentliche Ziele zu setzen, und Fortschritt in einer großen Gruppe wirkt motivierend
  • Aber wenn die Vielfalt der Ideen nicht groß genug ist, könnte das kurzfristiges Denken begünstigen
  • Mit vertikalen AI-Produkten kann man schnell 5.000 Dollar MRR erreichen
  • Aber ist das wirklich der Weg zu einem nachhaltigen Geschäft?
  • Wäre der Autor jetzt in einem YC-Batch, hätte er vermutlich die Versuchung verspürt, ein vertikales AI-Produkt zu bauen
  • Hinzu kommt, dass YCs Podcast „The Light Cone“ viele Inhalte enthält, die für vertikale AI-Produkte argumentieren

[zkdlfrlwl2]

Die Unterscheidung und Erklärung von Vertical AI und Horizontal AI ist interessant.