Hypothese des universellen Gewichtsteilraums

 (arxiv.org)
2 Punkte von GN⁺ 2025-12-11 | 1 Kommentare | Auf WhatsApp teilen
  • Verschiedene Deep-Learning-Modelle konvergieren trotz unterschiedlicher Daten und Initialwerte zu einem gemeinsamen niederdimensionalen Parameter-Teilraum, was durch umfangreiche Experimente bestätigt wurde
  • Die Spektralanalyse von über 1.100 Modellen (500 Mistral-7B LoRA, 500 Vision Transformer, 50 LLaMA-8B usw.) zeigte, dass sich der Großteil der Varianz auf nur wenige Hauptkomponentenrichtungen konzentriert
  • Solche universellen Teilräume (Universal Subspace) entstehen in Abhängigkeit von der Modellstruktur und treten unabhängig von Daten oder Initialisierung wiederholt auf
  • Diese Struktur hat großes Potenzial für Modellkomprimierung, parameter-effizientes Lernen, Modellzusammenführung und schnelle Inferenz
  • Die Studie bietet Hinweise zum neuen Verständnis der inhärenten Struktur und Generalisierungsfähigkeit von neuronalen Netzen und kann eine wichtige Grundlage für die Gestaltung effizienter Lernalgorithmen in der Zukunft werden

Entdeckung universeller Teilräume

  • Es wurde beobachtet, dass Deep-Learning-Netzwerke, die mit unterschiedlichen Datensätzen, Initialisierungen und Hyperparametern trainiert wurden, zu einem gemeinsamen niederdimensionalen Teilraum konvergieren
    • Dieses Phänomen tritt als ähnliche Low-Rank-Struktur auf Architekturebene und Schichtebene auf
    • Auch bei unterschiedlichen Trainingsdaten oder Verlustfunktionen zeigt sich derselbe strukturelle Trend
  • Ergebnisse der Spektralanalyse zeigen, dass die Gewichtsräume einzelner Aufgaben zwar unterschiedlich wirken, tatsächlich aber als Teil eines gemeinsamen niederdimensionalen Raums existieren
  • Diese Ergebnisse liefern eine Begründung dafür, warum überangepasste Modelle generalisieren, warum verschiedene Initialisierungen zu ähnlichen Darstellungen konvergieren und warum parameter-effizientes Fine-Tuning erfolgreich ist

Große Experimente und Analyse

  • Die Studie analysierte mehr als 1.100 Modelle, darunter 500 Mistral-7B-LoRA-Adapter, 500 Vision Transformer und 50 LLaMA3-8B-Modelle
    • Jedes Modell wurde mit verschiedenen Datensätzen und Initialisierungsbedingungen trainiert
  • Die Hauptkomponentenanalyse (PCA) zeigte, dass eine kleine Zahl von Hauptkomponenten den Großteil der Varianz erklärt, was auf einen gemeinsamen nieder-rankigen Teilraum hindeutet
  • Bemerkenswert ist, dass selbst 500 zufällig initialisierte ViT-Modelle zu demselben niederdimensionalen Teilraum konvergieren, was als grundlegende Eigenschaft neuronaler Netze interpretiert wird

Theoretische Modellierung und mathematische Formalisierung

  • Die Studie modelliert Vorhersagefunktionen als Elemente in einem Hilbertraum und analysiert die Bedingungen für die Wiederherstellung gemeinsamer Teilräume zwischen mehreren Aufgaben
  • Für jeden prädiktiven Ansatz ( f_t^* ) wird ein gemeinsamer Operator der zweiten Momente S definiert und gezeigt, dass der angenäherte Operator ( \tilde{S} ), der von den gelernten Prädiktoren ( \hat{f_t} ) abgeleitet wird, gegen ( S ) konvergiert
  • Theorem 2.5 zeigt, dass der gelernte Teilraum gegen den tatsächlichen gemeinsamen Teilraum konvergiert und dass die Konvergenzgeschwindigkeit durch die Anzahl der Aufgaben ((T)) und die Schätzgenauigkeit jeder Aufgabe ((\eta)) bestimmt wird
  • Je größer die Eigenwertabstände ((\gamma_k)), desto stabiler ist die Wiederherstellung des Teilraums

Einsatzmöglichkeiten und Auswirkungen

  • Die Nutzung des gemeinsamen Teilraums ermöglicht folgende Anwendungen
    • Teilraum-Koeffizienten statt ganzer Gewichte speichern für Modellkomprimierung
    • Schnelle Anpassung an neue Aufgaben innerhalb des gelernten Teilraums
    • Bereitstellung theoretischer Einsichten zu Verallgemeinerungsgrenzen und Optimierungslandschaften
    • Reduzierung des Rechenaufwands bei Training und Inferenz und damit potenziell geringere CO₂-Emissionen
  • Diese Struktur kann auch die Effizienz von Modellwiederverwendung, Multi-Task-Lernen und Modellfusion steigern

Zukünftige Forschungsaufgaben

  • Die Unterschiede zwischen universellen Teilräumen über Architekturen hinweg und deren geometrischer Optimierungsfähigkeit bleiben ungelöst
  • Wenn alle Netze in denselben Teilraum konvergieren, kann ein neuer Engpass durch mangelnde Vielfalt durch geteilte Voreingenommenheit und gemeinsame Fehlermuster entstehen
  • Zukünftige Forschung sollte Methoden entwickeln, die diese Konvergenz bewusst diversifizieren

Wichtige Beiträge im Überblick

  • Die Existenz eines universellen niederdimensionalen Teilraums im Parameterraum von Deep-Learning-Netzwerken wird empirisch bestätigt
  • Ein Lernverfahren für die Approximation gemeinsamer Teilräume aus unterschiedlichen Aufgabensätzen wird vorgeschlagen
  • Es wird nachgewiesen, dass sich mit dem gelernten Teilraum effizient auf neue Aufgaben mit wenigen Parametern angepasst werden kann
  • Die Nutzbarkeit für Modellkomprimierung, schnelles Lernen und Inferenz sowie effizientes Skalieren wird aufgezeigt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-12-11
Hacker-News-Kommentare

  • Die Formulierung „500 Vision Transformers“ war verwirrend.
    Tatsächlich sind damit 500 Versionen desselben Basismodells, die feinabgestimmt wurden (Fine-Tuning), gemeint.
    Diese Modelle wurden von anonymen Nutzerkonten auf Hugging Face heruntergeladen, und die Bezeichnung „universell“ trifft in der Praxis nur auf ein einzelnes vortrainiertes Modell zu.
    Dass feinabgestimmte Modelle wie bei LoRA einander ähnlich sind, ist nicht überraschend.
    Übrigens zeigt eines der im Paper zitierten Modelle, CheXpert-ViT-U-MultiClass, auf Hugging Face eine Malware-Warnung an.

    • Durch diese Erklärung wurde klarer, was das Paper mit einem „universellen Unterraum“ meint.
      Zunächst war ich verwirrt, weil ich dachte, es gehe darum, einen gemeinsamen Unterraum zwischen verschiedenen Modellarchitekturen zu finden, aber letztlich geht es um Stabilität innerhalb derselben Modellklasse.
      Am Ende bestätigt das allerdings nur die naheliegende Tatsache, dass „die Verlustfunktion ein wohldefiniertes Minimum hat“, weshalb der Name „Hypothese des universellen Gewichtsunterraums“ etwas übertrieben wirkt.
    • Die Fine-Tuning-Ergebnisse waren erwartbar, aber das Experiment mit von Grund auf trainierten ResNets (Figure 2, Section 3.2.1) war interessanter.
      Es ist zwar nicht sofort so praktisch wie LoRA, aber es könnte Potenzial für Folgeforschung haben.
    • Jedes Fine-Tuning verschiebt die Gewichte des Basismodells in eine bestimmte Richtung.
      Wenn man mit 500 Datensätzen feinabstimmt, könnte man erwarten, dass sich ein 500-dimensionaler Raum bildet, aber tatsächlich konvergiert das zu einem Unterraum von etwa 40 Dimensionen.
      Das heißt, die feinabgestimmten Gewichte lassen sich auf 40 reelle Zahlen komprimieren.
      Vielleicht kommt irgendwann der Tag, an dem Hugging Face Modellgrößen in Einheiten von „160 Byte“ anzeigt.
      Allerdings sind diese Basisvektoren selbst immer noch so groß wie das Modell, und man muss annehmen, dass die Dimension auch bei mehr Datensätzen nicht weiter wächst.
      Schade, dass die Autoren zufällige Modelle verwendet haben, aber hoffentlich führt diese Arbeit zu Folgeforschung, in der große Modelle von Grund auf trainiert werden.
    • Ich frage mich, warum man Modelle, die auf unterschiedlichen Daten trainiert wurden, als ähnlich betrachtet.
      Außerdem dachte ich, das Paper habe auch von Grund auf trainierte Modelle analysiert.
    • Zwar wurden Mistral- und LLaMA-Modelle behandelt, aber die Bezeichnung „universell“ ist übertrieben.

  • Ich denke, die wichtigsten Stellen im Paper sind diese zwei Sätze:
    Erstens: Die Projektion der Gewichte von fünf neuen ViT-Modellen in einen 16-dimensionalen universellen Unterraum führte zu keinem Genauigkeitsverlust.
    Zweitens: 500 ViT-Modelle konnten durch ein einziges universelles Unterraummodell ersetzt werden, wobei der Speicherverbrauch um den Faktor 100 sank.
    Das heißt, bei 50 LLaMA3-8B-, 177 GPT-2- und 8 Flan-T5-Modellen wurde eine gemeinsame Struktur gefunden, und die Leistung blieb erhalten, auch wenn man diese anstelle der Originalmodelle verwendete.
    Als Analogie ist das, als hätte man ein bzip2-Wörterbuch (dictionary) entdeckt, mit dem sich alle Dateien zu 99 % komprimieren lassen.

    • Ein relevanter theoretischer Hintergrund ist das Paper arXiv:2007.00810.
      Darin geht es darum, dass Modelle bis auf lineare Transformationen in denselben Raum konvergieren.
      Zum Beispiel konvergieren siamese Encoder mit MSE-Loss auch ohne Decoder in denselben latenten Raum.
      Daher ist es gut möglich, dass Transformer, die auf ähnlichen Daten trainiert wurden, auf Ebene linearer Transformationen ebenfalls im selben Raum landen.
      In diesem Sinne ist das Ergebnis hier nicht überraschend; wichtiger wären eher mathematische Beweise wie in diesem Paper.
    • Ich frage mich, wie sich diese „Gemeinsamkeit“ konkret nutzen lässt.
      Zum Beispiel: Kann man mit dieser universellen Gewichts-Teilmenge neue Modelle initialisieren, und gilt das nur für bestimmte Architekturen?
    • Wenn Modelle von selbst einen geteilten Spektral-Unterraum besetzen, könnte das Trainingskosten und Speicherbedarf stark senken.
    • Die Aussage „16 Dimensionen reichen aus“ ist beeindruckend.
    • Andererseits ist die Zahl 16 fast schon zu sauber, um nicht misstrauisch zu werden.
      Vielleicht ist es ein Codefehler oder einfach ein willkürlich gewählter Wert.

  • Ich hatte das Gefühl, dass das Paper die „Universalität“ überverkauft.
    Bei CNNs konvergieren Filter aufgrund starker induktiver Biases zu Laplacian-/Gabor-Formen.
    Transformer haben keine solchen Lokalitätsbeschränkungen, daher konnte man den Unterraum nur über geteilte Initialisierung (Fine-Tuning) finden.
    Letztlich ist diese „Universalität“ also keine inhärente Eigenschaft des Lernens, sondern das Ergebnis von strukturellen Einschränkungen + Stabilität des Vortrainings.

    • Trotzdem ist es erstaunlich und spannend, dass es überhaupt eine solche Forschungsrichtung gibt.

  • Dieser Ansatz ist LoRA deutlich überlegen und könnte sich auch zur Beschleunigung der Inferenz eignen.
    Vielleicht wird so etwas intern in großen Modellen bereits eingesetzt.
    Der Kernpunkt ist, dass hier eine Parameter-Teilmenge gefunden wurde, die an der Übertragung von Fähigkeiten auf neue Aufgaben beteiligt ist.
    Für völlig neue Aufgaben gilt das nicht, aber innerhalb derselben Domäne scheint es wirksam zu sein.
    Wie in der GPT-5.1-Analogie erinnert das an einen Basis-Ausdruck (basis expression), mit dem man beim Rigging von 3D-Charakteren „Gesichtsausdrücke“ steuert.

    • Dazu passt auch die philosophische Gegenfrage: „Gibt es überhaupt völlig neue Aufgaben?“
      Innerhalb der physikalischen Gesetze ist die Menge möglicher Aufgaben endlich, und die meisten davon sind bedeutungslos.
    • In der Praxis scheint es sogar bei neuen Aufgaben bis zu einem gewissen Grad zu funktionieren.

  • Das Konzept des „universellen Unterraums“, das das Paper beschreibt, war für mich nicht klar.
    Da nur innerhalb derselben Modellfamilie verglichen wurde, gibt es keinen gemeinsamen Unterraum zwischen strukturell unterschiedlichen Modellen wie ViT und GPT-2.
    Dass die Ergebnisse der Hauptkomponentenanalyse logarithmisch abfallen, ist ein ganz normales Phänomen.
    Außerdem kann man bei Matrixmultiplikation durch Vertauschen von Zeilen und Spalten das Ergebnis wiederherstellen, weshalb vollständig unabhängig trainierte Modelle nicht dieselben Unterraumrichtungen teilen können.

    • Im Grunde ist das eher eine Modellkompressionstechnik als „Universalität“ im philosophischen Sinn.

  • Wenn Modelle ganz natürlich in niedrigdimensionale Räume konvergieren, könnte man das Training direkt in diesem Raum beginnen und so die Trainingsgeschwindigkeit deutlich erhöhen.

    • Wie bei siamese Encodern führt die Verwendung derselben Verlustfunktion dazu, dass man bis auf lineare Transformationen im selben latenten Raum landet.
      Es ist gut möglich, dass Transformer nach einem ähnlichen Prinzip funktionieren.
      Theoretisch wären dafür mathematische Beweise wie in diesem Paper nötig.
    • Interessant, dass solche Forschung an der JHU betrieben wurde.
      Beeindruckend ist, dass dort mit weit weniger Ressourcen als bei OpenAI oder Google solche Ergebnisse erzielt wurden.
    • Wenn es einen solchen gemeinsamen Raum gibt, könnte es aber auch Grenzen der Ausdrucksfähigkeit von Modellen geben.
    • Oder man könnte ganz neue Architekturen entwerfen, die die Eigenschaften dieses Unterraums direkt als induktiven Bias nutzen.

  • Ich frage mich, was passieren würde, wenn man diese Struktur mit genetischen Algorithmen (GA) weiterentwickelt.
    Tatsächlich muss ich bei neuronalen Netzen immer an GA denken.

    • Das hat wohl mit Levy's Artificial Life zu tun, das ich als Kind gelesen habe und das mir eine Vorliebe für GA gegeben hat.
      Crossover und Mutation sind intuitiv verständlich, aber Backpropagation fühlt sich für mich immer noch schwer greifbar an.
    • Ich experimentiere derzeit mit GA auf Basis indirekter Kodierung, und dieses Paper scheint diese Richtung zu stützen.
      Dabei werden Gewichtsmatrizen in Spektralmuster zerlegt, um den Suchraum komprimiert zu durchsuchen.
      Man könnte auch bestehende große Modelle in komprimierter Form kodieren und als Ausgangspunkt für Mutationen verwenden.
      Wenn sich dieser Ansatz weiterentwickelt, könnte man auf diese Weise neue Mechanismen evolutionär entdecken.
    • Jetzt, wo es ein solches Ziel gibt, scheint ein guter Zeitpunkt gekommen zu sein, GA oder andere nicht lernbasierte Methoden wieder aufzugreifen.
    • Früher war ich regelrecht besessen vom EvoLisa-Projekt.
      EvoLisa-Link
      Das hat zwar mit dem Training von LLMs nichts zu tun, fühlt sich in gewisser Weise aber ähnlich an.
    • Mich reizt statt GA eher Vektorquantisierung (vector quantization).

  • Ich frage mich, wie das mit der „Platonic Representation Hypothesis“ zusammenhängt.

    • Hoffentlich antwortet jemand, der klüger ist als ich.
      Wenn man sieht, wie populär solche platonischen Diskurse gerade wieder werden, scheint sich da etwas auf eine grundlegende Einsicht zuzubewegen.
    • Die beiden Hypothesen sind eng miteinander verbunden.
      Geteilte Repräsentationsstrukturen könnten gute Kandidaten für platonische Kategorien sein.
      Zwischen beiden Konzepten dürfte es eine interessante Abbildung geben.
    • Das Paper arXiv:2405.07987 steht in derselben Linie.
      Es liefert gewissermaßen empirische Belege zur Untermauerung der früheren Hypothese.

  • Es gab auch die scherzhafte Vermutung, dass „alle Modelle im Grunde nur feinabgestimmte Versionen von LLaMA sind“.

  • Die Autoren analysierten verschiedene Low-Rank-Fine-Tuning-Modelle und behaupten, eine gemeinsame Low-Rank-Struktur gefunden zu haben.
    Diese ist vom Basismodell abhängig und ähnelt der Art, wie sich menschliche genetische Variation durch wenige Hauptkomponenten ausdrücken lässt.
    Am Ende tritt dieses Phänomen vielleicht gerade deshalb auf, weil es eine gemeinsame Abstammung (ancestry) gibt.