Ich denke, Yann LeCun hatte bei LLMs recht (vielleicht auch nur zufällig)

• In den letzten Jahren ist die Diskussion über AGI (Artificial General Intelligence, allgemeine künstliche Intelligenz) stark angestiegen
• Die genaue Definition von AGI ist unklar und umstritten, und das Festlegen einer AGI-Timeline ist zu einer gängigen Form der Debatte geworden
  • „Lange Timeline“: die Sichtweise, dass AGI in 10–20 Jahren kommen wird
  • „Kurze Timeline“: die Behauptung, dass AGI schon bald erscheinen wird
• Doch über die Entwicklung von AI auf diese Weise zu sprechen, ist ineffizient
  • Es ist angemessener, sie nicht als Weg zu einem Zielpunkt namens AGI, sondern als Prozess zunehmender Produktivität von AI zu betrachten
  • AI entwickelt sich so weiter, dass sie mit immer weniger menschlichem Eingriff immer mehr Aufgaben ausführen kann
    • Beispiele: Daten-Labeling, Code schreiben, Mathematikaufgaben lösen, autonomes Fahren, automatisches Fliegen
  • Ob AI jemals einen Punkt erreicht, an dem sie dauerhaft ohne menschlichen Eingriff arbeitet, ist jedoch ungewiss
  • Wir sollten messen, wie viel Wert AI im Verhältnis zu einem gegebenen Input erzeugen kann
• Der Fortschritt von AI lässt sich als Zunahme des wirtschaftlichen Werts verstehen, den AI im Verhältnis zum menschlichen Aufwand erzeugt
• Die wichtige Frage lautet:
  • Kann AI sich unbegrenzt weiterentwickeln und ohne menschlichen Eingriff wirtschaftlichen Wert schaffen?
  • Oder stößt sie ab einem bestimmten Punkt an technische Grenzen?
• Falls AI vollständig ohne menschlichen Eingriff wirtschaftlichen Wert erzeugen kann, könnte das sogar ein ziemlich riskantes Ergebnis sein

Wir haben dieses Phänomen bereits gesehen (selbstfahrende Autos)

• In der AI-Branche gab es vor dem Boom der Sprachmodelle, etwa 2017, einen Hype um selbstfahrende Autos
  • Damals erklärten mehrere Unternehmen, innerhalb eines Jahres vollautonome Autos (Full Self-Driving, FSD) auf den Markt zu bringen, und zogen Investitionen in Milliardenhöhe an
  • Es wurden Millionen Meilen gefahren, viele Firmen gegründet, doch einige gingen am Ende bankrott
• Vollständiges FSD ist noch immer nicht erreicht
  • Tesla ist nach wie vor nicht zu vollständig autonomem Fahren in der Lage, und Waymo funktioniert nur teilweise in bestimmten vorab kartierten Gebieten
  • Noch immer sind gelegentliche menschliche Eingriffe nötig
    > Prognose von Tesla-CEO Elon Musk im Jahr 2016:
    > „Noch in diesem Jahr wird ein Tesla vollständig autonom von Los Angeles nach New York fahren.“
    > → Doch bis heute, Stand 2024, ist das nicht eingetreten (Tesla verkauft weiterhin die Abo-Option „Full Self-Driving“)
• Heute ist es realistischer, statt darüber zu diskutieren, ob autonomes Fahren vollständig möglich ist, die Kennzahl „miles-per-intervention“ zu messen
  • Also: wie weit ein Auto ohne einen einzigen menschlichen Eingriff fahren kann
• Laut aktuellen Berichten benötigt Tesla im Durchschnitt alle 13 Meilen einen menschlichen Eingriff
  • Mit größeren AI-Modellen, schnellerer Inferenz, mehr Daten und verbessertem Engineering dürfte dieser Wert steigen
  • Ob dieser Wert mit der heutigen Technologie jedoch unbegrenzt wachsen kann, ist unklar
• Mit anderen Worten: Wir wissen noch nicht, ob sich Modelle für autonomes Fahren unbegrenzt verbessern und menschliche Eingriffe vollständig überflüssig machen werden, oder ob sie auf einem gewissen Niveau an Grenzen stoßen

Warum Yann LeCun unrecht hatte (teilweise)

• Yann LeCun, Chief AI Scientist bei Meta, argumentierte in der Vergangenheit, dass Sprachmodelle keine Intelligenz auf menschlichem Niveau erreichen können
• Seine Begründung: Sprachmodelle erzeugen Ausgaben Token für Token; bei jedem Token besteht eine gewisse Fehlerwahrscheinlichkeit, und wenn sich diese Fehler akkumulieren, werde die Leistung am Ende nachlassen
• Er betrachtete dieses Problem der Fehlerakkumulation als fundamentale Grenze von Sprachmodellen und argumentierte, dass man zur Lösung den heutigen autoregressiven Ansatz aufgeben müsse
• Doch die Realität sah anders aus
  • Moderne AI-Systeme (OpenAI o1/o3, DeepSeek R1 usw.) widerlegen diese Hypothese frontal
  • Sie sind weiterhin autoregressiv, aber ihre Leistung verbessert sich sogar, je längere Ausgaben sie erzeugen
  • In der Forschung zu DeepSeek R1 zeigte sich ein Muster, bei dem die Wahrscheinlichkeit korrekter Antworten steigt, je länger das Modell „nachdenkt“
    > Ein Blick auf die Grafiken im DeepSeek-R1-Bericht zeigt: Mit längerer Ausgabe steigt die Leistung → ein direkter Widerspruch zu Yann LeCuns Hypothese
• Wie Modelle ihre eigenen Fehler korrigieren
  • Die bisherige Logik beruhte auf der Annahme, dass sich Fehler zwangsläufig auf Token-Ebene ansammeln
  • Neuere Forschung zeigt jedoch, dass Modelle über Mechanismen zur eigenen Fehlerkorrektur verfügen
  • Wenn etwa bestimmte Tokenmuster erzeugt werden, lässt sich beobachten, dass das Modell unterwegs probabilistisch zu besseren Antworten findet
    > Beispiel aus DeepSeek R1: der Prozess, in dem das Modell an einem bestimmten Punkt eine „bessere Antwort“ findet → genau das, was Yann LeCun für unmöglich hielt
• Einige Forschende analysieren derzeit diese Selbstkorrektur-Mechanismen (self-correction) und untersuchen, wie sie sich wirksamer auslösen lassen
• Unklar ist allerdings noch, ob dieser Ansatz nur bei bestimmten Problemtypen wie Coding oder Mathematikaufgaben funktioniert

Warum Yann LeCun recht hatte (teilweise)

• Yann LeCuns Hypothese war nicht vollständig falsch
• Auch wenn neuere Forschung seine Hypothese der „Fehlerakkumulation“ widerlegt, bleibt richtig, dass Sprachmodelle keine unbegrenzt präzisen Ausgaben erzeugen können
• Das heißt: AI kann nicht ewig unabhängig arbeiten
• Die Grenzen vollständig autonomer Agenten (FAA)
  • Viele Forschende wollen AI-Agenten entwickeln, die über lange Zeiträume Aufgaben ausführen können
  • Doch das ist ein ähnliches Problem wie die Entwicklung von Full Self-Driving (FSD)-Autos
  • Mit dem aktuellen Technologie-Stack könnten vollständig autonome AI-Systeme also unmöglich sein
• Die Bedeutung menschlicher Eingaben
  • Die verlässlichsten Informationen stammen aus Prompts, die Menschen direkt eingeben
  • AI kann zwar über einige Tools zusätzliche Daten erhalten (z. B. Flugabfragen, Wetterabfragen usw.), aber nur weil sie sehr lange Ausgaben erzeugt, steigt die Wahrscheinlichkeit einer richtigen Antwort nicht unbegrenzt weiter
  • Dass AI ohne menschlichen Eingriff unbegrenzt nützliche Ausgaben erzeugen kann, ist eher unwahrscheinlich

Warum wir AGI-Debatten in der AI-Forschung vermeiden sollten

• Den Fortschritt von Sprachmodellen anhand einer AGI-Timeline zu messen, ist der falsche Ansatz
• Die bessere Frage lautet: „Wie lange kann AI ohne menschlichen Eingriff effektiv arbeiten?“
• So wie man beim autonomen Fahren „miles-per-intervention“ misst, ist es auch bei Sprachmodellen praktischer zu messen, „wie lange sie ohne menschlichen Eingriff korrekte Ausgaben erzeugen können“
• Statt auf eine AI zu warten, die völlig ohne menschlichen Eingriff arbeitet (FAA, Fully Autonomous Agent), ist es wichtiger, den heutigen kontinuierlichen Fortschritt als „Zunahme nützlicher AI-Arbeit“ zu erkennen
• Auch ohne vollständige AGI ist der wirtschaftliche Wert der heutigen Technologie bereits bedeutend
• Daher ist es sinnvoller, statt darüber zu diskutieren, wann AGI erreicht wird, die tatsächliche Produktivität von AI zu verbessern

[princox]

„KI kann niemals für immer unabhängig arbeiten“

Dieser Teil ist beeindruckend.

[GN⁺]

Hacker-News-Meinung

• Satya Nadella spricht über AGI

  • Wichtiger als die Umsätze von Microsoft ist es, die überzogenen Erwartungen an AGI zu dämpfen
  • Die Wachstumsrate der Volkswirtschaften in entwickelten Ländern liegt nur bei 2 %, und unter Berücksichtigung der Inflation ist sie nahezu 0 %
  • 2025 wird es Herausforderungen für das Wirtschaftswachstum geben
  • Es müsse ein Wachstum wie in der Industriellen Revolution erreicht werden
  • Nicht Technologieunternehmen, sondern Branchen, die AGI nutzen, werden die Gewinner sein
  • Wenn die Produktivität steigt und die Wirtschaft schnell wächst, entwickeln sich auch die Branchen weiter
  • Es hat keine Bedeutung, die Leistungen von AGI selbstzufrieden zu preisen; der wahre Maßstab ist ein Wachstum der Weltwirtschaft um 10 %

• Es ist wichtig, Wege zu finden, Menschen Arbeit zu geben

  • Der Marketingwechsel von AGI zu ASI ist eine Falle
  • Trotz der Kritik an der "Gig"-Economy leben viele Menschen durch Uber oder DoorDash besser
  • Uber und DoorDash haben Wert im Alltag
  • Man gibt Lieferfahrern Trinkgeld, damit sie mehr als den Mindestlohn verdienen können
  • Nicht jeder kann sich im Selbststudium zum Softwareingenieur ausbilden oder Unternehmer werden
  • Es ist wichtig, Menschen Arbeit zu geben

• Die Skepsis gegenüber dem "Reasoning" von LLMs wächst

  • An den Ergebnissen von DeepSeek und Grok konnte man die Grenzen von LLMs sehen
  • Es gibt Fälle, in denen Modelle auf ineffiziente oder falsche Pfade geraten
  • Zum Beispiel verbrachte Grok 3 zehn Minuten damit, wiederholt einen bestimmten Kartennamen zu überprüfen
  • Modelle können in selbstverstärkte unproduktive Verhaltensweisen verfallen

• Diskussion über autonom fahrende Autos

  • Tesla ist noch nicht zu vollständig autonomem Fahren fähig, und Waymo kann es nur in bestimmten Gebieten
  • Einige AI-Systeme werden besser, während sie längere Ausgaben erzeugen
  • Längere Ausgaben machen ein Modell jedoch nicht besser
  • LeCuns Argument weist auf das Problem der Fehlerakkumulation bei Sprachmodellen hin

• Überzogene Erwartungen an AGI und humanoide Roboter

  • Der Fokus sollte eher auf wirtschaftlichem Nutzen als auf AGI liegen
  • Das Ziel von AGI ist es, 99,99 % der Menschen zu übertreffen

• Die Erwartungen der Menschen an AGI

  • Die Menschen wollen etwas anderes als AGI
  • Wenn AGI Autonomie besitzt, wird sie unkontrollierbar
  • Die Menschen wollen fachlich herausragende Spezialisten, die trotzdem Anweisungen befolgen

• Der Erfolg von Language-Diffusion-Modellen

  • Zur Lösung des Problems der Fehlerakkumulation wird eine Remasking-Strategie verwendet
  • Sie waren erfolgreich dabei, mehrere Tokens gleichzeitig vorherzusagen

• Fragen zum wirtschaftlichen Wert von AI

  • Wenn AI die Produktivität von Menschen steigert, an wen wird dann der wirtschaftliche Wert weitergegeben
  • Wenn menschliche Beschäftigung zurückgeht, braucht es einen Plan für die Verteilung des wirtschaftlichen Werts

• Vergleich zwischen AI und menschlichen Träumen

  • Die Art und Weise, wie AI auf Basis eines Realitätsmodells Szenarien erzeugt und erweitert, könnte Träumen ähneln
  • Es stellt sich die Frage, ob man LLMs durch das Hinzufügen von Echtzeit-Eingaben "aufwecken" kann