Welches ist das leistungsfähigste KI-Modell, das sich in 5 Minuten auf einem Laptop trainieren lässt?
(seangoedecke.com)- Auf einem MacBook Pro wurde in 5 Minuten ein GPT-artiges Transformer-Modell mit rund 1,8 Mio. Parametern auf etwa 20 Mio. TinyStories-Tokens trainiert und erreichte dabei ungefähr 9,6 Perplexity
- Die wichtigsten Einschränkungen für ein Training in unter 5 Minuten sind Modellgröße und die verarbeitbare Token-Anzahl; größere Modelle konvergieren langsamer und profitieren bei wenig Daten weniger
- Bei der Leistungsoptimierung war die Nutzung von MPS am effektivsten; ein kleines Modell zu wählen erwies sich als wirksamer als Kompilierung/Quantisierung/Gradient Accumulation oder Alternativen zu PyTorch
- Ein einfaches und konsistentes Dataset wie TinyStories wirkt sich auf kleine Modelle positiver aus als enzyklopädische Daten
- Die Transformer-Architektur zeigte unter den Bedingungen kleiner Modelle und kurzer Trainingszeit bessere Ergebnisse als LSTM oder diffusion
Überblick
Dieser Beitrag präsentiert die Ergebnisse eines Experiments zu dem leistungsfähigsten KI-Sprachmodell, das sich auf einem Laptop (MacBook Pro) in 5 Minuten trainieren lässt, sowie Erkenntnisse zu optimaler Trainingsstrategie, Dataset-Auswahl und Modellarchitektur.
Zusammenfassung der Experimentergebnisse
- Ein GPT-artiges Transformer-Modell mit rund 1,8 Mio. Parametern wurde auf etwa 20 Mio. TinyStories-Daten trainiert und erreichte eine Perplexity von 9,6
- Die generierten Beispiele sind kurz, aber konsistent in Form kleiner Geschichten, wobei die englische Grammatik überwiegend korrekt bleibt
- Es wird betont, dass das Ergebnisniveau eines Modells, das in 5 Minuten trainiert wurde, praktischer war als erwartet
Hintergrund und Grenzen des Experiments
- Das Experiment begann aus der eher unrealistischen Neugier heraus, in einer Laptop-Umgebung schnell ein leistungsfähiges Modell zu trainieren
- Tatsächlich ließen sich in der Cloud mit leistungsstarken GPUs (z. B. H100) stärkere Modelle trainieren, doch die eigentliche Randbedingung des Experiments war die Zeit von 5 Minuten
- Je größer das Modell, desto langsamer ist der Token-Durchsatz, was gute Ergebnisse innerhalb von 5 Minuten erschwert
- Zu kleine Modelle (z. B. 10K Parameter) können nicht genug Komplexität lernen
- Der praktische Bereich liegt bei Modellen mit etwa 1M bis 2M Parametern
Optimierung des Durchsatzes
- Die Verwendung von MPS (Apples Metal Performance Shaders) war am effektivsten
- Verschiedene mathematische Optimierungen wie
torch.compile, float16, MLX usw. brachten weniger Leistungsgewinn als erwartet oder verschlechterten die Performance sogar - Gradient Accumulation dient zwar der Speicherverwaltung, führte in der Praxis jedoch zu deutlicher Verlangsamung
- Das Modell muss in der Lage sein, Gewichte schnell im internen Speicher zu aktualisieren, um effizient zu sein
Auswahl des Datasets
- Bei begrenzter Token-Anzahl (ca. 10 bis 20 Mio.) wurden zunächst einfache englische Wiki-Daten wie Simple English Wikipedia verwendet; das lieferte zwar grammatische Konsistenz, aber wenig semantische Kohärenz
- Wegen des Schwerpunkts auf Eigennamen und erzwungen wirkender Faktenaufzählungen waren die Grenzen bei der Erzeugung sinnvoller Inhalte deutlich
- Mit dem TinyStories-Dataset waren die Ergebnisse deutlich konsistenter und inhaltlich sinnvoller, da die Erzählstruktur klar und die Sprache einfach ist
- Da es sich um Geschichten auf dem Niveau von Vierjährigen handelt, lernt auch ein kleines Modell daran gut
Tokenizer und Tokenisierung
- Das Training des Tokenizers ist nicht in den 5 Minuten enthalten, und wegen des kleinen Datenumfangs besteht nur geringer Optimierungsbedarf
- Das Lernen von Multi-Byte-Tokens ist für das Modell leichter
Experimente zur Modellarchitektur
-
Verwendung einer Transformer-Architektur (im GPT-2-Stil)
- Hyperparameter wie 2 bis 3 Layer, Aktivierungsfunktionen wie SwiGLU und Positional Embedding wurden angepasst
- LSTM kommt in der Leistung nahe heran, aber der Transformer ist bei der Perplexity überlegen
- Dropout, Mixture-of-Experts usw. sind bei dieser kleinen Größe ineffizient
- Curriculum Learning zeigte wegen der zu kurzen Trainingszeit kaum Wirkung
-
Versuch mit einem Diffusion-Modell (D3PM)
- Da natürliche Sprache aus diskreten Tokens besteht, entstanden im Diffusionsprozess nur bedeutungslose Zufallstokens, weshalb der Ansatz scheiterte
- Im Vergleich zu Transformer oder LSTM war es schwieriger, schnell eine Satzstruktur zu bilden
Zusammenhang zwischen Modellgröße und Token/Sekunde-Durchsatz
- Modelle mit 1M bis 2M Parametern bilden den idealsten Sweet Spot
- Sind sie zu groß, ist innerhalb von 5 Minuten keine Konvergenz möglich; sind sie zu klein, stoßen sie unmittelbar nach Trainingsbeginn an Leistungsgrenzen
- Das Chinchilla scaling law stimmt weitgehend mit den Experimentergebnissen überein
- Eine ideale Modellgröße von Gesamtzahl der Trainingstokens/20 wurde auch in diesem Experiment bestätigt
Fazit und Implikationen
- Selbst in sehr kurzer Zeit und auf kleiner Hardware ist das Training eines konsistenten Storytelling-Modells möglich
- Ein 5-Minuten-Training eignet sich nicht für die Entwicklung wirklich leistungsstarker Modelle, hat aber Bedeutung für Experimente zu kleinen, extrem leichtgewichtigen Modellen sowie zur Optimierung von Hardware und Architektur
- Mit künftigen Fortschritten bei Laptop-GPUs und Modellstrukturen könnten sich die Fähigkeiten von Modellen, die in nur wenigen Minuten trainiert werden, weiter verbessern
1 Kommentare
Hacker-News-Meinungen
Möchte seinen Vortrag über Quantenkryptografie sehen und fragt, ob jemand den Link zu dem Vortrag kennt, der am Anfang des Videos erwähnt wurde
Optimiertes Training kleiner Modelle ist nicht nur für die Zugänglichkeit wichtig, sondern auch für die wissenschaftliche Forschung zu LLMs; so wie man in der Biologie einfache Organismen wie Hefe nutzt, braucht man zum Verstehen und Kontrollieren des Verhaltens großer Modelle die Untersuchung des einfachsten Transformers, der dennoch interessante Verhaltensweisen großer Modelle zeigt
Einer der zuletzt besonders eindrucksvollen Podcasts handelte vom TinyStories-Paper und -Datensatz; dieser Datensatz enthält nur einfache Wörter und Konzepte wie in Kleinkindergeschichten, ermöglicht es aber selbst kleinen Modellen, Englisch mit Grammatik, Vielfalt und Schlussfolgerungsfähigkeit zu erzeugen; auch der Podcast mit dem Autor erklärt die Fähigkeiten von LLMs anhand eines kleinen, kontrollierten Forschungsbeispiels sehr gut; in der biologischen Analogie wäre der Datensatz vermutlich ein sehr einfaches und kontrolliertes Umfeld wie ein Agar-Medium; passende Links sind die Podcast-Episode und das TinyStories-Paper
Viele Unternehmen können mit kleinen Modellen reale Geschäftsprobleme lösen, indem sie proprietäre Datensätze wie die Kaufhistorie ihrer Nutzer verwenden; Fortschritte aus großen Sprachmodellen lassen sich auch auf kleine Probleme direkt anwenden, wenn sich die Eingabesequenz in einer spezialisierten Sprache ausdrücken lässt
Es ist weithin bekannt, dass sich Verhaltensweisen und Optimierungen aus kleinen Modellen in großen Modellen oft nicht gut reproduzieren lassen
Was der Autor hier macht, ist Pretraining; das ist normalerweise die Arbeit von Modellherstellern wie Google oder Meta, während für Unternehmen Fine-Tuning oder, in geringerem Maß, zusätzliches Pretraining deutlich praktischer ist; es wird betont, dass der Autor dies aus akademischen Gründen versucht
Es besteht Interesse an Modellen, die auf einem Laptop schnell laufen, aber das Training selbst kann trotzdem mehrere Tage oder noch länger dauern
Es wäre besser, statt Zeit Energie als Maßstab zu nehmen; also innerhalb eines gegebenen Energiebudgets in Joule das beste Modell zu trainieren, denn das wäre der eigentliche Vergleich und würde den Vergleich zwischen MBP und H100 fairer machen
Der Kernpunkt hier ist nicht Effizienz, sondern „Zugänglichkeit“, weil ein H100 kein Alltagsprodukt ist, ein Laptop aber schon
Soweit verstanden, ist der Mac beim Stromverbrauch wettbewerbsfähiger, weil er nicht so viel Leistung zieht wie Nvidia-GPUs; außerdem kann man einen H100 für weniger als 10 Dollar pro Stunde mieten, daher wäre auch ein Wettkampf interessant, bei dem man die Leistung von Modellen vergleicht, die sich in unter einer Stunde trainieren lassen
Jeder Maßstab wäre wohl in Ordnung; selbst wenn er etwas willkürlich ist, muss das nichts Schlechtes sein
Wenn es darum geht, eine praktische Kennzahl auf Basis eines Laptops oder eines MacBook Pro auszudrücken, sollte das Ziel klarer formuliert werden
Klingt jetzt so, als sollte man eine AI-Effizienz-Olympiade veranstalten; ob auf Laptop, Desktop oder Telefon, in 5 Minuten, 1 Stunde, 1 Tag oder 1 Woche, auf einem Boot oder zusammen mit einer Ziege, ganz egal wo, humorvoll formuliert
„Zusammen mit einer Ziege“ klingt nach einer Anspielung auf Llama; der Reim ist begrenzt, aber mit Boston-Akzent wäre es noch lustiger
In einem Roman von Vernor Vinge gibt es eine Geschichte, in der Menschen tragbare Schachcomputer bauen und sie während Turnieren als Assistenten einsetzen; es wäre interessant, wenn bei einem Wettbewerb neben der Schachuhr auch Strom bereitgestellt würde, damit die Teilnehmer über Züge nachdenken könnten, die ihrer eigenen AI helfen
Eine Formulierung, die extreme Leistung mit einem Mac Studio M3 Ultra 512GB ausdrückt, verbunden mit dem Witz, dass man mit so einem Schiff sogar eine Ziege transportieren könnte
Der Witz ist, dass die Ziege zu viele Parameter hat und fast auf GPT-4-Niveau liegt
Wäre bereit, für GoatLM zu bezahlen
Gefällt die Formulierung „officially major people“ in dem Unsinnsbeispiel „Paris, France is a city in North Carolina...“ und fragt sich, wie man sie im Alltag verwenden könnte
Das erinnert an das „cramming“-Paper von vor ein paar Jahren; geteilt wird ein Paper-Link, in dem der Autor versucht, an einem Tag auf einem modernen Laptop ein optimales Modell zu trainieren
Schon mit einigen Tricks aus dem GPT-2-Speedrun-Versuch wie Muon, besserer Gewichtsinitialisierung und sorgfältigerer Abstimmung der Lernrate könnte es viel besser werden; dazu der Verweis hier
Der AI fehlt eine demoscene, also eine Kultur wie bei den Grafik-Demos der 90er, in der man mit kleinen Ressourcen technische Kunststücke vorführt
Möchte kleine, stärker spezialisierte Modelle bauen und sie bei Bedarf direkt erstellen können; statt eines großen Modells, das alles weiß, wird eher ein Modell gebraucht, das nur auf den eigenen Arbeitsbereich laserfokussiert ist und sehr schnell läuft; gewünscht ist, ein großes LLM mit „Schreibe mir ein Skript, um ein für <benötigte Aufgabe> optimiertes Modell zu trainieren“ zu beauftragen und dann dieses Modell zu verwenden; während des Schreibens des Kommentars hat Google jedoch Gemma 3 270M veröffentlicht
Anhand von Unsinnsbeispielen wie „Paris, France is a city in North Carolina...“ wird gesagt, dass kleine Modelle viel nützlicher wären, wenn sie einfach „I don't know“ sagen könnten; riesige LLMs braucht man vor allem deshalb, weil ihr Anwendungsbereich so breit ist, dass sie nicht ständig Dinge erfinden; es wäre wünschenswert, einen Kundendienst-Chatbot in angemessener Zeit auf einem Laptop trainieren zu können, aber außerhalb dieser Domäne würde er mit hoher Wahrscheinlichkeit gravierend falsche Antworten geben