LLMs haben noch einen weiten Weg vor sich
- LLMs tun im Grunde nicht mehr, als große Mengen an Informationen zu speichern und bei Bedarf wieder abzurufen; deshalb kann man nicht sagen, dass sie echte Intelligenz auf menschlichem Niveau besitzen. Echte Intelligenz auf menschlichem Niveau bedeutet, mit sehr begrenzten Lerndaten zu generalisieren und auch in erstmals auftretenden Situationen Probleme lösen zu können.
- Um Hunde und Katzen zu unterscheiden, braucht ein Mensch nur ein paar Fotos, während ein CNN-Modell 25.000 Bilder benötigt. Das menschliche Gehirn kann mit extrem wenig Lerndaten Objekte sehr schnell und präzise klassifizieren — in einem Maß, das mit heutiger KI nicht vergleichbar ist.
- Wenn jemand dieselbe Mathematikaufgabe löst, ohne das Prinzip zu verstehen, und stattdessen auf Basis ähnlicher früherer Aufgaben die passende Formel erinnert und anwendet, dann ist das eher gutes Nachschlagen als echte Intelligenz. Man muss zwischen jemandem unterscheiden, der durch Auswendiglernen 100 Punkte erreicht, und jemandem, der durch Verständnis der Prinzipien 100 Punkte erreicht.
- Dass sich die Leistung heutiger LLMs mit zunehmender Größe verbessert und sie zugleich weiterhin halluzinieren, liegt genau daran. Mit mehr Trainingsdaten gibt es mehr „Formeln“, die sie abrufen können, also können sie in mehr Situationen reagieren; finden sie jedoch keine passende Formel oder die falsche, entstehen Halluzinationen.
- Allerdings lösen auch Menschen Probleme oft, indem sie sich Formeln merken. Abgesehen von wenigen Ausnahmen wenden die meisten auswendig gelernte Formeln auf verschiedene Situationen an — dennoch gibt es auch hier einen Unterschied zwischen KI und Mensch.
- Aktuelle KI betreibt eher eine flache Suche, während Menschen durch verkettetes Denken tief suchen können.
- Das, was wir „Intelligenz“ nennen, lässt sich wiederum in die folgenden drei Ebenen einteilen.
- Die Fähigkeit, Phänomene zu beobachten, Prinzipien zu verstehen und sie in einem breiten Spektrum anzuwenden (Genies)
- Die Fähigkeit, bereits gelernte Muster tiefgehend zu untersuchen und das optimale Muster zu nutzen (durchschnittliche Menschen)
- Die Fähigkeit, bereits gelernte Muster nur oberflächlich zu betrachten und das schnell Auffindbare zu nutzen (heutige LLMs)
- Heutige LLMs befinden sich auf Stufe 3; ideal wäre der Sprung zu Stufe 1, aber selbst Stufe 2 müsste erreicht werden, damit wir bei dem ankommen, was wir AGI (Artificial General Intelligence) nennen.
ARC Prize mit 1 Million Dollar Preisgeld
- Es wurde ein Testverfahren entwickelt, um zu bewerten, ob echte Intelligenz auf menschlichem Niveau vorliegt, und darauf aufbauend der Wettbewerb ARC Prize mit 1 Million Dollar Preisgeld geschaffen. (https://www.kaggle.com/competitions/arc-prize-2024)
- Auf der offiziellen Website des Wettbewerbs (https://arcprize.org/) kann man die Rätsel selbst ausprobieren; für Menschen entspricht der Schwierigkeitsgrad etwa einem IQ-Test, doch KI kann diese Aufgaben bislang noch nicht gut lösen.
Fortschritt beschleunigt sich, wenn Ergebnisse geteilt werden
- OpenAI hat in der Branche eine Kultur des Nichtteilens von Informationen verbreitet und damit das Erscheinen von AGI um mindestens 5 bis 10 Jahre verzögert.
- Um AGI zu entwickeln, braucht es viele verschiedene Versuche; weil OpenAI jedoch so viel Aufmerksamkeit auf sich zieht, konzentrieren sich die personellen und materiellen Ressourcen der Branche nur noch auf die Entwicklung von LLMs.
- Dadurch erhalten andere Forschungsfelder zwangsläufig weniger Unterstützung, und Ergebnisse kommen langsamer zustande.
- Hinzu kommt, dass OpenAI selbst dann, wenn es Papers veröffentlicht, technische Details nicht mehr offenlegt; dadurch ist es für andere Forschende in der Branche schwierig, auf diesen Arbeiten aufzubauen und weitere Forschung zu betreiben.
- Vor dem Aufstieg von OpenAI brachten Forschende aus verschiedenen Institutionen — etwa bei dem Paper Attention is all you need — die KI durch Zusammenarbeit über Organisationsgrenzen hinweg schnell voran. OpenAI verbreitet jedoch eine Kultur, in der eigene Entdeckungen nicht mit der Branche geteilt werden, und behindert damit deren Fortschritt.
- Man hofft, dass Forschende durch den ARC Prize ihre Ergebnisse wieder aktiver teilen und sich der Fortschritt der Branche dadurch erneut beschleunigt.
2 Kommentare
Es scheint, als käme das o1-Modell an Nummer 2 heran.
Ja, das denke ich auch.