Im LLM-Bereich wird „Open Source“ als Begriff verwendet, der „herunterladbare Gewichte“ bedeutet.

• LLaMA2 entspricht wegen Einschränkungen bei kommerzieller Nutzung und der Verwendung von Modellausgaben nicht der traditionellen Definition von Open Source, doch im Bereich der AI-Modelle muss sich das Open-Source-Konzept selbst weiterentwickeln
• Es bestehen Einschränkungen, die mit dem OSS-Ethos kollidieren, etwa das Verbot kommerzieller Nutzung für Dienste mit mehr als 700 Mio. MAU zum Zeitpunkt der Veröffentlichung sowie das Verbot, Modellausgaben zum Training anderer LLMs zu verwenden
• So wie sich in der Softwaregeschichte die Bedeutung von „free software“ → „open source“ → „source available“ verändert hat, wird auch in der AI „open source“ im Sinne von herunterladbaren Gewichten verwendet
• Der Grad der Modelloffenheit lässt sich in Open models, Open weights, Restricted weights und Contaminated weights einteilen; LLaMA2 gehört zu den Restricted weights
• Vollständig Open Source im Sinne einer erneuten Trainingsmöglichkeit von Grund auf ist wegen der Kostenfrage unrealistisch; dass Meta Rechenleistung im Umfang von rund $2M offengelegt hat, ist netto positiv für die Entwicklung des Feldes

---

LLaMA2 und die Kontroverse um den Begriff „Open Source“

• Bei der Veröffentlichung von LLaMA2 äußerten viele Personen aus der OSS-Community Unmut darüber, dass für das Modell der Begriff „open source“ falsch verwendet werde
• Das Modell ist zwar weitgehend offen, unterliegt aber klaren Einschränkungen
  • Unternehmen mit mehr als 700 Mio. MAU zum Veröffentlichungsdatum dürfen das Modell nicht kommerziell nutzen
  • Modellausgaben dürfen nicht zum Training anderer großer Sprachmodelle verwendet werden
• Solche Einschränkungen passen nicht gut zum Open-Source-Ethos (OSS ethos) und im traditionellen Sinn kann man es nicht Open Source nennen
• Die Gegenposition lautet jedoch, dass dies nicht entscheidend sei und sich der Begriff „open source“ im Zeitalter der AI-Modelle erneut weiterentwickeln müsse

From Free to Open — von „frei“ zu „offen“

• Seit dem „Open Letter to Hobbyists“ von 1976 besteht eine Spannung zwischen den kommerziellen Interessen von Softwareunternehmen und der Neugier von Hackern, die Beschränkungen umgehen wollten
• Die Bewegung für „free software“ begann in den 1970er Jahren im MIT AI lab mit Richard Stallman und führte 1983 zum GNU-Projekt
  • Die GPL-„copyleft“-Lizenz entstand, übernommen von Red Hat, MySQL, Git und Ubuntu
• Der Begriff „open source“ entstand 1998 dank Christine Peterson vom MIT
  • Auf dem „Freeware Summit“ wurde „free software“ offiziell verworfen und durch „open source software“ ersetzt
• Danach spalteten sich die Communities rund um „free“ und „open source“ aufgrund unterschiedlicher Bedeutungsinterpretationen weiter auf
  • Die von der Free Software Foundation definierte free software ist eine Teilmenge von open source und verwendet sehr freizügige Lizenzen wie GPL und Apache
• In den vergangenen zehn Jahren kam es durch Spannungen zwischen kommerziellen Open-Source-Unternehmen und Cloud-Hyperscalern zu einer weiteren Aufspaltung
  • Elastic und MongoDB wechselten zur SSPL(Server-Side Public License), die kommerzielle Nutzung erlaubt, solange keine gehostete Version angeboten wird
  • Ziel war es, AWS daran zu hindern, die Produkte als Cloud-Service erneut zu hosten und damit Geld zu verdienen
  • Die SSPL schränkt OSS stärker ein und wird von der OSI nicht als Open-Source-Lizenz anerkannt
  • Trotzdem bezeichnen viele Entwickler MongoDB noch immer als Open Source
• „Open source“ verliert zunehmend seine Bedeutung im Sinne von Freiheit und wird in der Wahrnehmung vieler Entwickler fast zum Synonym für „source available“

From Source to Weights — von „Source“ zu „Weights“

• Mit dem Aufkommen offener Modelle wie Dolly, MPT und LLaMA kam es in der Community zu einer ähnlichen Aufspaltung
• Für die meisten AI-Ingenieure bedeutet „open source“ heute herunterladbare Gewichte (downloadable weights) — nicht mehr und nicht weniger
• Heather Meeker hat eine Definition von „open weights“ vorgeschlagen, doch ein Konsens in der Community fehlt noch
• Die Kernfrage ist, ob man ein Modell allein mit open weights als Open Source bezeichnen kann
  • Als Softwareanalogie wäre das so, als würde man nur Binärdateien veröffentlichen, ohne den Source Code, der einen Neuaufbau von Grund auf ermöglicht
• Um im echten Sinn Open Source zu sein und ein erneutes Training von Grund auf zu erlauben, müssten Trainingscode, Vortrainings-Datensätze, Fine-Tuning-Präferenzdaten, RLHF-Beispiele usw. vollständig offengelegt werden
  • Das Problem sind die Trainingskosten; selbst wenn alles offengelegt würde, wäre ein Training von Grund auf für die meisten Entwickler und Unternehmen aus Kostengründen unmöglich
  • Am Ende wird daher schon der Zugang zu den finalen Gewichten bevorzugt

Vierstufige Einteilung des Offenheitsgrads von Modellen

• Open models: darunter RedPajama, MPT-7B usw.; sie stellen open weights unter der Apache-2.0-Lizenz bereit und erlauben kommerzielle Nutzung
  • Auch die Datensätze sind Open Source, sodass ein erneutes Training von Grund auf möglich ist
• Open weights: Dazu gehört das von StabilityAI trainierte StableLM; die Gewichte sind unter Apache 2.0 offengelegt, der Trainingsdatensatz jedoch nicht
  • Laut README wurde es auf einem neuen experimentellen Datensatz auf Basis von The Pile vortrainiert, mit etwa 1.5T Token und damit rund dreifachem Umfang
• Restricted weights: Dazu gehört LLaMA2; der Vortrainings-Datensatz ist nicht offengelegt, und obwohl die Gewichte kommerzielle Nutzung erlauben sollen, gelten die oben genannten spezifischen Einschränkungen
• Contaminated weights: Dazu gehören Dolly 1.0 und LLaMA1; die Gewichte sind veröffentlicht, doch der Trainingsdatensatz erlaubt keine kommerzielle Nutzung, sodass sie technisch offen, praktisch aber unbrauchbar sind

Schlusswort — die Richtung der Offenheit

• Vorerst werden open source und open weights weiter synonym verwendet werden, und das sei in Ordnung
• Wichtig ist, dass diese Arbeit zunehmend so offen wie möglich (as openly as possible) erfolgt
• Enttäuschung über die LLaMA2-Lizenz ist nachvollziehbar, aber dass Meta FLOPS im Gegenwert von rund $2M in einem GitHub-Repository veröffentlicht hat, ist netto positiv für den Fortschritt in diesem Bereich

[GN⁺]

Hacker-News-Kommentare

• Es ist seltsam, LLaMA direkt im Absatz darüber in die Kategorie eingeschränkt verfügbare Gewichte einzuordnen und dann zu sagen, dass Open Source und offene Gewichte künftig synonym verwendet würden.
  Selbst nach der vom Autor vorgeschlagenen Definition ist LLaMA 2.0 nicht Open Source und sollte auch nicht so genannt werden.
  Wenn Open Source im LLM-Bereich bedeuten soll, dass man „die Gewichte herunterladen kann“ und Nutzungsbeschränkungen keine Rolle spielen, dann ist das weniger eine an den neuen Kontext angepasste Bedeutungsverschiebung als vielmehr eine Verwässerung der Bedeutung von Open Source.
  LLaMA ist nicht einmal ein Modell mit offenen Gewichten, sondern bestenfalls ein Bündel geschlossener proprietärer Gewichte, vergleichbar mit quelloffengelegter Software.
  Dass Facebook LLaMA als Open Source bezeichnet, ist irreführend, und man sollte dieser Erzählung nicht folgen.
  Ob auf Gewichte überhaupt Urheberrecht bestehen kann, ist eine separate Frage, und ich persönlich denke, dass das nicht der Fall ist.

  • Ich bin der Autor des Originalbeitrags, und ich stimme zu, dass LLaMA2 nicht Open Source ist. So stand es ursprünglich auch im Titel; der HN-Titel wurde später geändert.
    Mein Punkt war nur, dass die meisten Leute es trotzdem weiter „Open Source“ nennen werden, weil sie den Unterschied nicht kennen, und dass sich das schwer korrigieren lässt.
    Statt nur zu sagen „Das ist nicht Open Source“ braucht es bessere Begriffe.
    Außerdem ist zwar die Nutzung der Gewichte eingeschränkt, aber der offengelegte Umfang der Recheninvestition ist sehr groß. Das Verhältnis von Trainingstokens zu Parametern beträgt 285:1, und aus der Loss-Kurve geht hervor, dass das Modell noch nicht gesättigt ist.
    Für andere Teams, die eigene Modelle trainieren wollen, sind das wertvolle Informationen.
    LLaMA1 war stark eingeschränkt, aber die in der Arbeit veröffentlichte Datensetzung führte zu RedPajama, das wiederum für das Training von MPT verwendet wurde.
    Auch wenn es nicht in traditionelle Kategorien passt, gibt es bei solcher Arbeit weiterhin viel Wert, der in Richtung Open Source fließt.

• Mir war nicht klar, dass die llama-Lizenz verbietet, Ausgaben zum Training anderer Modelle zu verwenden.
  Das ist praktisch eine fatale Einschränkung. In Zukunft werden synthetische Daten wahrscheinlich die wichtigsten Trainingsdaten sein, und ein Modell, das die Nutzung synthetischer Daten für das Training neuer Modelle verbietet, ist massiv beschädigt.

  • Es ist schon komisch, dass die großen Player in diesem Bereich die folgenden zwei Positionen gleichzeitig für konsistent halten:
    Es sei okay, Modelle ohne Erlaubnis oder Lizenz auf beliebigen Internetdaten zu trainieren, nur weil sie zugänglich sind, aber andere dürften mit unserem Modell keine weiteren Modelle trainieren.
  • Ich bezweifle, dass sich so eine Klausel rechtlich durchsetzen lässt, ohne fast alle KI-Unternehmen am Markt zu Fall zu bringen.
    Die rechtliche Grundannahme dieser Modelle ist doch, dass das Training auf urheberrechtlich geschütztem Material Fair Use ist.
    Wenn nicht, will Facebook dann behaupten, dass es kein Fair Use ist, urheberrechtlich geschütztes Material gegen den Willen der Urheber in Datensätze aufzunehmen? Das wäre dann schlechte Nachricht für LLaMA.
    Die Position „Dafür braucht ihr unsere Erlaubnis zum Trainieren“ ist für jedes KI-Unternehmen eine interessante rechtliche Position.
  • Die Heuchelei ist wirklich absurd.
    Im Grunde heißt das: „Wir trainieren auf großen Teilen des Internets ohne Erlaubnis, aber wagt es ja nicht, ohne unsere Erlaubnis auf den Ausgaben unseres Modells zu trainieren!“
    OpenAI hat ähnliche Einschränkungen.
  • Das ist grundlegend falsch, und es ist enttäuschend, dass das der Top-Kommentar ist.
    Man kann kein anderes Modell sinnvoll auf Modellausgaben trainieren, das führt nur zu komplettem Unsinn. Das nennt man Model Collapse: https://arxiv.org/abs/2305.17493v2
    Und die Llama-2-Lizenz erlaubt es Nutzern, abgeleitete Modelle zu trainieren. Darauf kommt es den Leuten eigentlich an: https://github.com/facebookresearch/llama/blob/main/LICENSE
  • Trotzdem dürfte es schwer sein, das durchzusetzen. Wie sollte man das überhaupt nachweisen?

• Das ist nicht wirklich ein neues Problem. Der streng definierte Begriff Open Source wurde für Software festgelegt und hat auf Nicht-Software nie exakt gepasst.
  Deshalb gibt es ja Creative-Commons-Lizenzen. Ein Foto unter GPL2 zu veröffentlichen ergibt von vornherein keinen Sinn.
  Bei neuen Medien braucht es immer eine Neujustierung der Begriffe.

  • LLMs sind eher Software als ein Medium.
    Die GPL definiert Quellcode als die Form, die zur Bearbeitung bevorzugt wird, einschließlich der Skripte, die nötig sind, um aus dem Quellcode ausführbare Dateien zu erzeugen.
    In diesem Fall wären die Gewichte eher mit optimiertem ausführbarem Code vergleichbar, der aus einer Verarbeitungspipeline hervorgeht, und der „Quellcode“ wären die Trainingsdaten sowie der Code und die Verfahren, die daraus ein Modell machen.
    Bei sehr großen LLMs ist das für fast niemanden praktisch nutzbar, aber bei kleinen akademischen Modellen ist es sinnvoll, weil Forschende auf der Arbeit anderer aufbauen können.
  • Creative Commons hat nie behauptet, eine Open-Source-Lizenz zu sein; üblicher ist dort der Begriff freie Kultur.
  • Auch Medien wie Fotos, Songs oder Videos haben eine Quelle. Die Rohdaten und Projekte, aus denen das Bild gerendert oder die Video- bzw. Audioausgabe erzeugt wurde, sind die Quelle.
    Bei Sprachmodellen liegt die Quelle tatsächlich näher am Code, der zum Trainieren eines bestimmten Modells verwendet wurde, während das Modell selbst zwar kein Maschinencode ist, aber eher einem kompilierten Binärformat ähnelt.
    Damit ein Modell wirklich Open Source ist, müsste deshalb die Software offengelegt werden, mit der es erzeugt wurde, sodass ich sie verändern und mit meinen eigenen Daten trainieren und nutzen kann.
  • Es braucht keine Neudefinition. Neue Medien brauchen neue Begriffe.
  • Als ich an die Universität kam, war selbst das strenge „Open Source“ noch gar nicht klar definiert.

• Ob Gewichte urheberrechtlich geschützt sind, ist vor Gericht noch nicht geklärt, und je nach Ausgang könnten diverse Lizenzen und Beschränkungen völlig bedeutungslos werden

  • Diese Klausel wirkt riskant
    „Liebe Künstler, das Modell lernt nur wie ein Mensch, daher kann es euer Urheberrecht nicht verletzen. Wenn es zufällig Teile eines Buches ausgibt, dann ist das eben ein zufälliges Plagiat. Das passiert uns doch allen, haha! Anwälte erinnern uns daran, dass Plagiat in den USA nicht illegal ist.“
    „Liebe Ingenieure, die Ausgaben unseres Modells sind urheberrechtlich geschützt, also gehört es uns, wenn ihr damit euer eigenes Modell trainiert.“
    Ich verstehe nicht, wie beides gleichzeitig wahr sein soll
  • Ähnlich ist die verbreitete Klausel „Man darf die Ausgabe dieses Modells nicht zur Verbesserung anderer Modelle verwenden“ meines Wissens urheberrechtlich nicht durchsetzbar
    Bestenfalls ist das nur eine Vertragsklausel, die bestimmte Nutzer bindet, und späteren Nutzern des verbesserten Modells dürfte daraus wohl kein Problem entstehen
  • Die Vorstellung, dass Gewichte möglicherweise nicht urheberrechtlich geschützt sein könnten, ist sehr interessant und sogar reizvoll
    Allerdings fällt es mir schwer, mir vorzustellen, dass so eine Welt tatsächlich möglich ist
    Es wäre hilfreich, wenn jemand zusammenfassen könnte, warum Gewichte nicht urheberrechtlich geschützt sein könnten, oder Material nennen könnte, das diese Sicht stützt
  • Es ist auch noch unklar, ob verschiedene Gesetzgeber Gesetze verabschieden werden, die den urheberrechtlichen Status von Modellgewichten ausdrücklich festlegen
    Man sollte im Hinterkopf behalten, dass sich ändern kann, was urheberrechtlich geschützt ist und was nicht
  • Stimmt. SSPL ist ähnlich
    Die GPL wurde im Fall FSF gegen Cisco (2008) erprobt, restriktivere Lizenzen dagegen noch nicht

• Das Problem ist, dass es bereits große Modelle wie MPT-30b oder Falcon-40b gibt, die echte Open-Source-Lizenzen verwenden
  Ich bin dankbar dafür, Zugriff auf die Llama2-Gewichte zu haben, aber es fühlt sich unfair an, dass Llama2 die Anerkennung als „Open Source“ bekommt, obwohl es konkurrierende Modelle gibt, die im traditionellen OSI-Sinn tatsächlich Open Source sind
  Der praktische Unterschied bei den Lizenzen ist klein genug, dass die meisten — mich eingeschlossen — wahrscheinlich das qualitativ bessere Modell Llama2 wählen werden
  Aber dieser Anreiz könnte am Ende dazu führen, dass wir in merkwürdigen quasi-offenen Lizenzen feststecken

• Es gibt bereits den Begriff source available, daher verstehe ich nicht, warum sich der Begriff „Open Source“ weiterentwickeln sollte
  In diesem Fall könnte man einfach sagen: „Gewichte unter einer Lizenz mit wenigen Einschränkungen verfügbar“

  • Eine neue Generation von Programmierern erinnert sich nicht mehr an eine Zeit ohne irgendeine Form von Open Source oder freier Software, daher fühlt sich der Unterschied für sie eher wie eine akademische Unterscheidung an als wie etwas praktisch Spürbares

• Das Diagramm in diesem Artikel ist sehr falsch, weil es nur GPL als freie Software zeigt und MIT/Apache so darstellt, als seien sie Open Source, aber keine freie Software
  Die FSF mag den Begriff „Open Source“ nicht, aber selbst sie sagt, dass „fast alle Open-Source-Software freie Software ist“
  Insbesondere die Lizenzen MIT, Apache und LGPL sind eindeutig Lizenzen für freie Software. Wenn nicht, wäre die Auswahl an Software für Debian oder von der FSF genehmigte Distributionen viel kleiner
  Was das Diagramm wohl eigentlich unterscheiden wollte, war Copyleft gegenüber freier Software oder Open Source
  Wenn man nach dem Grad der Erlaubnis sortiert, müsste die Teilmengenbeziehung außerdem umgekehrt sein. GPL ist deutlich permissiver als etwa SSPL, aber weniger permissiv als MIT/Apache

  • Genau. Aus Lizenzsicht kann man Open Source und Free Software fast austauschbar verwenden
    Der Unterschied ist nicht technisch, sondern politisch
    Auch dieser Teil des Artikels ist ziemlich irreführend: „Freie Software, wie sie von der Free Software Foundation definiert wird, ist nur eine Teilmenge von Open-Source-Software und verwendet sehr permissive Lizenzen wie GPL und Apache“

• Im Diagramm sollte es theoretisch noch eine weitere Kategorie geben, die außerhalb von „Restricted Weights“ liegt, aber enger ist als das gesamte Feld „Completely Closed“
  Zum Beispiel Blackbox-Gewichte und -Modelle, die man kostenlos verwenden kann, aber praktisch nicht einsehen oder portieren kann
  Das wäre die Schwesterkategorie zu nichtoffener Software, die „kostenlos nutzbar“ ist
  KI, die kostenlos nutzbar ist, aber als Binärblob geliefert wird, würde hier hineinpassen
  Oder ein Python-Modul, das Inferenz-Engine und Gewichte als vorkompilierte Binärdatei aufruft, aber ohne Quellcode ausgeliefert wird
  Das traditionelle Gegenstück in der heutigen Softwarewelt sind Linux-Treiber von Drittanbietern, die nicht Open Source sind. Kostenlos, aber nicht offen
  In der KI-Welt sieht man das bisher noch nicht oft. Wer Gewichte offenlegt, tut das meist für Forschungszwecke und muss daher oft auch die Inferenz Open Source machen; wer geschlossene Modelle hat, will damit Geld verdienen und hat deshalb keinen Grund, die Inferenz offenzulegen, sondern verlangt einfach API-Gebühren, etwa wie „OpenAI“

  • Ich habe es nicht aufgenommen, aber das würde wohl in den Kreis „gratis wie Freibier, aber nicht frei“ gehören

• Der Titel wurde bearbeitet. Der eigentliche Titel lautet „LLaMA2 isn't "Open Source" - and why it doesn't matter“
  Er wurde gegenüber dem Originaltitel und dessen Ton deutlich verändert, und ich habe den Eindruck, dass Autor und Einreicher die Bedeutung von Open Source unterschiedlich sehen könnten

  • Ein Moderator hat den Titel geändert, und beim ursprünglichen Einreichen wurde der Originaltitel verwendet. Warum er geändert wurde, weiß ich nicht
  • Es ist dieselbe Person :)

• Open Source ist schon lange Teil der Technikkultur, daher wurde alles, was davon abweicht, oft verspottet
  In letzter Zeit wirkt es aber so, als sei die Community gegenüber solchen „offenen“ Lizenzen nachsichtiger geworden
  Die Kritik an Projekten, die die FOSS-Kriterien nicht erfüllen, ist oft überzogen, aber ich hoffe, dass wir nicht zu schnell in Richtung „open“ abrutschen
  Es gibt auch einen anderen Artikel zu LLaMa2: https://opensourceconnections.com/blog/2023/07/19/is-llama-2...