AI-Suche: die bitterere Lektion

Die Grenzen von Leela Chess Zero

• Leela Chess Zero wurde durch Selbstspiel über Milliarden von Trainingsdurchläufen zum Weltmeister
• Verlor jedoch deutlich gegen Stockfish
• Auch das Training eines größeren Netzwerks konnte Stockfish nicht schlagen
• Stockfish nutzte ein viel kleineres Modell als Leela, gewann jedoch dank besserer Suchfähigkeiten

Weitere Gedanken zu Stockfishs Sieg

• Leela verlor den Weltmeistertitel, weil es nicht gut suchen konnte
• Die Ergänzung von LLMs um Suchfähigkeiten rückt näher, bekommt aber wenig Aufmerksamkeit
• Foundation-Modelle wie GPT-4 besitzen keine Suchfähigkeiten
• Es dominiert die Annahme, dass größere Modelle nötig seien, um Suche zu ermöglichen, doch es gibt Gegenbeispiele
• Laut Forschung von DeepMind entsteht Suchverhalten in Schachalgorithmen auf natürliche Weise
• Wenn es effiziente Suchalgorithmen gibt, muss man nicht darauf warten, dass ineffiziente Vorläufer-Suche zufällig in großen Modellen entsteht
• Die heutigen Modelle sind groß genug, um Suche zu ermöglichen, und möglicherweise sogar unnötig groß

Suche ermöglicht die Zuweisung von Rechenressourcen für den Zielbereich

• Angenommen, ein Pharmaunternehmen möchte mit AI neue Medikamente erforschen
• In einer Welt mit AI-Suche gibt es zwei Optionen
  1. Bis 2030 warten und hoffen, dass OpenAI ein Modell veröffentlicht, das um vier Größenordnungen größer ist, oder
  2. Schon heute um vier Größenordnungen mehr Inference-Compute einsetzen
• Das Pharmaunternehmen würde die zweite Option bevorzugen
• Durch Suche ließen sich Fähigkeiten auf ASI-Niveau von 2030 sofort nutzen

Szenario einer suchbasierten AI-Entwicklung

• Es wird entdeckt, dass Suche in bestehenden Modellen funktioniert
• Regierungen oder große Forschungseinrichtungen erkennen, dass sie Suche sofort auf AI-Forschung oder die Sammlung ausländischer Informationen anwenden können
• Da Inference-Compute begrenzt ist, bleibt dies auf Regierungen oder große Forschungseinrichtungen und auf Sicherheit oder AI-Forschung beschränkt
• Eine suchgetriebene AI-Entwicklung führt zur Entdeckung effizienterer Suchalgorithmen und Modellarchitekturen
• Suche erfordert keine zusätzlichen Trainingsdaten und löst damit das Problem der „Datenmauer“
• Die Intelligenzexplosion beginnt nicht 2030, sondern schon im nächsten Jahr

Möglichkeit, Suche auf AI-Forschung selbst anzuwenden

• Wenn AI weit genug entwickelt ist, um sich selbst zu erforschen, ist mit einer abrupten Entwicklungsdynamik zu rechnen
• So wie Pharmaunternehmen nicht auf GPT-8 warten müssen, um neue Medikamente zu erforschen, können auch AI-Labore AI erforschen, ohne auf größere Modelle zu warten
• Um menschliche AI-Forschende zu ersetzen, könnten weitere Beschränkungen aufgehoben werden müssen
• Doch selbst ein einfacher Chatbot mit Intelligenz auf GPT-8-Niveau dürfte ausreichen, um die AI-Entwicklung zu beschleunigen

[GN⁺]

Hacker-News-Diskussion

Zusammenfassung der Hacker-News-Kommentare

• Die Wirksamkeit von Suche hängt eng mit der Qualität der Wertfunktion zusammen: Aktuelle Wertfunktionen sind stark auf bestimmte Domänen spezialisiert, und es gibt kaum Belege dafür, dass sich Wertfunktionen erstellen lassen, die auf neue Domänen generalisieren.
• Yann LeCuns Forschung: Yann LeCun untersucht die Rolle der Suche beim Aufbau von AGI und versucht, mit JEPA ein robustes Weltmodell zu konstruieren.
• Grenzen von Sprachmodellen: Es ist fraglich, ob heutige LLMs ein ausreichend reichhaltiges Weltmodell simulieren können; Video ist wichtig, weil Menschen aus Bildsequenzen nützliche Weltmodelle ableiten können.
• Die Unklarheit des Artikels: Der Beitrag beginnt mit einer interessanten Prämisse, definiert Suche aber nicht im Kontext von LLMs und erklärt auch nicht die Behauptung, dass „Pfizer heute die Fähigkeiten von GPT-8 nutzen könnte“.
• Suche in Schach-Engines: Die Suche in Schach-Engines ist möglich, weil es eine objektive Funktion gibt; bei LLMs ist fraglich, ob eine solche Metrik existiert.
• Die Notwendigkeit von Suche: Suche wird mit hoher Wahrscheinlichkeit nötig sein, und es ist wichtig, Wege zu finden, wie kostengünstige Cluster teurere Cluster schlagen können.
• Der Unterschied zwischen Schach und anderen Spielen: Im Schach gibt es weniger Faktoren für das Pruning, sodass ein breiter Ansatz möglich ist, während reale Situationen sehr viel mehr Pruning-Faktoren haben.
• Die Generalisierung von Suche: Suche ist eine Generalisierung von „Generate and Test“ und Rejection Sampling; die Geschwindigkeit hängt von der Kandidatengenerierung und der Testzeit ab.
• Website-Probleme: Eine bestimmte Website stört grundlegende Browser-Funktionen und verursacht dadurch Unannehmlichkeiten.
• Der Spielbaum von Leela Chess Zero: Leela modelliert Schach als Spielbaum und verwendet dafür Suchalgorithmen.
• Die Suchfähigkeit von LLMs: Es ist unklar, wie der Möglichkeitsraum aussieht, in dem LLMs suchen könnten.
• Grenzen von LLMs: Da LLMs keinen Käsekuchen herstellen oder bewerten können, sollte man die Erwartungen an AGI herunterschrauben.
• Ein informationstheoretisches Problem: Dass das Training von LLMs so viele Daten benötigt, weist auf Probleme bei Generalisierung und internem Weltmodellieren hin.