Unix vs. Linux
Oracle vs. MySQL
Open Source hat durch Zusammenarbeit Innovation hervorgebracht. Die Stärke von Open Source liegt in Transparenz und Kollaboration. Erfolgreiche Open-Source-Projekte wie Linux und MySQL sind das Ergebnis davon.
GPT-n vs. Llama?
Llama ist offen, hat aber Grenzen bei der Innovation.
Um das Llama-Modell weiterzuentwickeln, müsste Pretraining möglich sein, derzeit ist aber nur Post-Training möglich. Der Grund ist, dass die Trainingsdaten von Llama nicht offengelegt wurden. In AI und Deep Learning ist der Source Code der Trainingsdatensatz. Llama hat jedoch nur die Model Weights veröffentlicht, nicht aber Trainingsdaten, Model-Training-Code, Hyperparameter usw. Mit den derzeitigen Llama-Weights sind tuningbasierte Innovationen wie Fine-Tuning oder Komprimierung möglich, aber Innovationen an den Model Weights, die nur durch Pretraining möglich sind, sind unmöglich. Denn in AI und Deep Learning ist das Entwickeln von Trainingsdatensätzen gleichbedeutend mit Coding und Debugging. Da die Trainingsdaten von Llama nicht öffentlich sind, gibt es keine Möglichkeit für die Allgemeinheit, sie gemeinsam zu verbessern. In diesem Sinne ist es schwer, Llama als Open Source zu bezeichnen.
Hinzu kommt der Mangel an GPU-Ressourcen in der Community.
Für das Training von Llama sollen H100*16k GPUs verwendet worden sein. Allein die GPUs kosten mehr als 600 Milliarden Won. Rechnet man zusätzliche Kosten wie Infrastruktur und Strom hinzu, liegt man locker bei über 1 Billion Won. Das ist nichts, was jeder einfach ausprobieren kann. Damit in der Open-Source-Community Innovation möglich ist, müsste es öffentliche GPU-Cluster geben.
Zusammengefasst
Damit Open Innovation im Bereich AI und Deep Learning möglich ist, müssten mindestens die folgenden zwei Bedingungen erfüllt sein.
Offenlegung der Trainingsdaten
Bereitstellung großer öffentlicher GPU-Cluster
Allerdings ist Punkt 1 wegen Urheberrechtsfragen wenig wahrscheinlich. Und für Punkt 2 wären 1 Billion Won erforderlich.
Das Fazit ist, dass Open Innovation im Bereich AI und Deep Learning unter den aktuellen Bedingungen äußerst unwahrscheinlich ist. Wenn es jedoch zu Hardware-Innovationen bei GPUs oder neuromorphen Chips kommt, könnte die Lage anders aussehen.
1 Kommentare
Unix vs. Linux
Oracle vs. MySQL
Open Source hat durch Zusammenarbeit Innovation hervorgebracht. Die Stärke von Open Source liegt in Transparenz und Kollaboration. Erfolgreiche Open-Source-Projekte wie Linux und MySQL sind das Ergebnis davon.
GPT-n vs. Llama?
Llama ist offen, hat aber Grenzen bei der Innovation.
Um das Llama-Modell weiterzuentwickeln, müsste Pretraining möglich sein, derzeit ist aber nur Post-Training möglich. Der Grund ist, dass die Trainingsdaten von Llama nicht offengelegt wurden. In AI und Deep Learning ist der Source Code der Trainingsdatensatz. Llama hat jedoch nur die Model Weights veröffentlicht, nicht aber Trainingsdaten, Model-Training-Code, Hyperparameter usw. Mit den derzeitigen Llama-Weights sind tuningbasierte Innovationen wie Fine-Tuning oder Komprimierung möglich, aber Innovationen an den Model Weights, die nur durch Pretraining möglich sind, sind unmöglich. Denn in AI und Deep Learning ist das Entwickeln von Trainingsdatensätzen gleichbedeutend mit Coding und Debugging. Da die Trainingsdaten von Llama nicht öffentlich sind, gibt es keine Möglichkeit für die Allgemeinheit, sie gemeinsam zu verbessern. In diesem Sinne ist es schwer, Llama als Open Source zu bezeichnen.
Hinzu kommt der Mangel an GPU-Ressourcen in der Community.
Für das Training von Llama sollen H100*16k GPUs verwendet worden sein. Allein die GPUs kosten mehr als 600 Milliarden Won. Rechnet man zusätzliche Kosten wie Infrastruktur und Strom hinzu, liegt man locker bei über 1 Billion Won. Das ist nichts, was jeder einfach ausprobieren kann. Damit in der Open-Source-Community Innovation möglich ist, müsste es öffentliche GPU-Cluster geben.
Zusammengefasst
Damit Open Innovation im Bereich AI und Deep Learning möglich ist, müssten mindestens die folgenden zwei Bedingungen erfüllt sein.
Allerdings ist Punkt 1 wegen Urheberrechtsfragen wenig wahrscheinlich. Und für Punkt 2 wären 1 Billion Won erforderlich.
Das Fazit ist, dass Open Innovation im Bereich AI und Deep Learning unter den aktuellen Bedingungen äußerst unwahrscheinlich ist. Wenn es jedoch zu Hardware-Innovationen bei GPUs oder neuromorphen Chips kommt, könnte die Lage anders aussehen.