Warum Regierungen, Unternehmen und Non-Profit-Organisationen in freie und Open-Source-KI investieren sollten

• Software ist zugleich kommerzieller Vermögenswert und ein Wissenssystem, das sich durch Teilen weiterentwickelt; wie GCC und GNU/Linux zeigen, ist Open Source zu einer Grundlage geworden, die das moderne Internet und die Tech-Industrie trägt
• Wenn Code offengelegt wird, können Entwickler weltweit Fehler finden und beheben, und die nächste Generation von Ingenieuren kann lernen, wie modernste Systeme gebaut werden. Transparenz trägt damit sowohl zu Sicherheit als auch zur Ausbildung von Talenten bei
• Wenn sich modernste KI auf geschlossene Modelle weniger Unternehmen konzentriert, wird es für Forschende schwieriger, den Aufbauprozess und die Trainingsdaten zu prüfen, und auch wissenschaftliche, medizinische, technische und juristische Entscheidungen, die von KI abhängen, lassen sich nicht vollständig auditieren
• Da KI-Software selbst bereits eine Fähigkeit darstellt, birgt ihre Offenlegung Risiken; doch auch geschlossene Modelle sind anfällig für Leaks und Jailbreaks und führen zusätzlich zu einer Konzentration von Macht, bei der wenige Unternehmen entscheiden, welche Technologien erlaubt sind
• Nicht jede Open-Source-KI muss mit der Größe modernster Modelle mithalten. Regierungen, Unternehmen und Non-Profit-Organisationen sollten in öffentliche Compute-Unterstützung, die Förderung universitärer und gemeinnütziger Forschung sowie in den Grundsatz investieren, mit öffentlichen Mitteln geschaffene KI standardmäßig offenzulegen

---

Die Debatte um freie Software

• Als ich in den 1980er-Jahren am MIT AI Lab rund zwei Jahre lang mit Richard Stallman diskutierte, folgte ich der damals verbreiteten Annahme, dass für die Weiterentwicklung von Software die exklusive Kontrolle von Unternehmen über Code notwendig sei
• Stallman sah Software als Medium, das Wissen enthält; daher sollte sie von allen genutzt, studiert und verbessert werden können. Code innerhalb von Unternehmen zu verstecken, bedeute für ihn, Wissen selbst zu verbergen
• Beide Seiten waren sich einig, dass Computer zu einem zentralen Mittel werden würden, um menschlichen Fortschritt zu beschleunigen; uneinig waren sie darüber, wie dieses Ziel zu erreichen sei
• Im Verlauf der Debatte gewann die Vorstellung an Überzeugungskraft, dass Software nicht nur ein kommerzieller Vermögenswert ist, sondern ein Wissenssystem, das stärker wird, wenn es geteilt wird
• Stallmans Prinzip, Nutzern die Freiheit zu garantieren, Software zu untersuchen, zu verändern, zu verbessern und zu teilen, wurde zur Grundlage der Freie-Software-Bewegung und später von Open Source

GCC und GNU/Linux belegen offene Entwicklung

• Der von Stallman geschaffene GCC übersetzt den Code der Welt in Maschinensprache, die Computer ausführen können, und ist bis heute ein zentrales Programm
  • Dieser Erfolg wurde nicht allein durch die Arbeit einer einzelnen Person möglich, sondern durch die Beiträge Tausender
• GNU/Linux, entstanden aus demselben Geist offener Entwicklung, betreibt heute den Großteil des Internets
• Die moderne Technologielandschaft hängt in hohem Maß von Prinzipien offener Entwicklung und von Open Source ab

Wie Offenheit Sicherheit und Lernen beeinflusst hat

• Anfangs war das Argument der Sicherheit durch Geheimhaltung ein zentraler Einwand: Um Computer sicher zu schützen, müsse man Software verbergen
• Transparente Software ermöglicht es einer weltweiten Entwickler-Community, Probleme zu entdecken und zu beheben; bei geschlossener Software muss man dagegen hoffen, dass niemand tief genug ins Innere blickt
• Die Open-Source-Community verbreitet Wissen darüber, wie Systeme gebaut werden, und fungiert zugleich als De-facto-Lehrbuch für eine Generation von Ingenieuren
• Wenn alle modernsten Systeme verborgen bleiben, lässt sich aus abgeschlossenen Systemen kaum etwas lernen, und es wird schwierig, die nächste Generation von Innovatoren auszubilden

Das Open-Source-Ökosystem, das die Tech-Industrie trägt

• Jahrzehnte technologischen Fortschritts sind aus einem fein austarierten Ökosystem entstanden, in dem private Unternehmen, Universitäten und Zehntausende Freiwillige zu einer gemeinsamen Softwarebasis beitragen
• Mehrere weltweit erfolgreiche Unternehmen haben Dienste auf offenen Kerntechnologien aufgebaut und damit Umsätze erzielt
• Proprietäre Software hat ebenfalls ihre Rolle, doch Open Source ist das Fundament, das die Last der modernen Tech-Industrie getragen hat; es darf daher nicht geschwächt werden

KI wird schon in einem frühen Stadium geschlossen

• KI ist ebenfalls Software, doch die am weitesten entwickelten Frontier-Modelle sind vollständig geschlossen, und die Abschottung beschleunigt sich
• Praktisch nutzbare offene Alternativen sind selten; heutige Modelle sind beeindruckend, aber noch unfertig, und die Methoden zu ihrem Aufbau sind noch nicht etabliert
• Wenn ein junges Wissenschaftsfeld, in dem die tiefsten Durchbrüche noch bevorstehen, jetzt geschlossen wird, kann das für den Fortschritt notwendige geteilte Wissen verschwinden
• Die Wissenschaft an Universitäten hat sich dadurch entwickelt, dass Forschungsergebnisse veröffentlicht wurden und die ganze Welt daran anknüpfen konnte
• Wenn der Großteil künftiger Wissenschaft von KI abhängt, birgt es die Gefahr, auch wissenschaftlichen Fortschritt zu begrenzen, wenn KI in wenigen Unternehmen eingeschlossen wird

Wer kontrolliert die Bibliothek der Zukunft?

• Bibliotheken sind eine gemeinsame Ressource, über die jeder kostenlos auf das von der Menschheit angesammelte Wissen zugreifen kann
• Es wäre kaum hinnehmbar, wenn wenige Unternehmen alle Bibliotheken aufkauften, entschieden, welche Bücher gelesen werden dürfen, und Inhalte stillschweigend veränderten
  • Geschlossene KI gleicht ebenfalls einer Bibliothek der Zukunft, auf die nur zu den Bedingungen ihrer Eigentümer zugegriffen werden kann
• Wenn wenige Unternehmen festlegen, was ein Modell zulässt, oder die Art verändern, wie Antworten zustande kommen, können Menschen, die sich auf das Modell verlassen, die Ergebnisse nicht vollständig verstehen
  • Ärztinnen und Ärzte, die ein Modell für Diagnosen nutzen
  • Ingenieure, die ihm Entwürfe anvertrauen
  • Richter, die es für Entscheidungen heranziehen
  • Gewöhnliche Nutzer, die fragen, was sie glauben sollen, stehen alle vor demselben Problem

Erklärungen eines Modells sind kein Audit-Protokoll

• Auch wenn ein Modell Gründe nennen kann, sind Erklärung und Audit nicht dasselbe
• Die vom Modell gelieferten Gründe sind kein getreues Protokoll der tatsächlichen Berechnungen, die zur Antwort geführt haben, sondern eine nachträglich zusammengesetzte, plausibel klingende Geschichte
• Wenn dieselbe Frage im folgenden Jahr anders beantwortet wird, kann es unmöglich sein zu prüfen, ob sich die Realität geändert hat oder ob der Anbieter das Modell verändert hat
• Nutzer, die sich auf solche Systeme verlassen, verwenden nicht mehr ein Werkzeug, das sie verstehen können, sondern vertrauen einem treuhandähnlichen System, dessen Inneres sie nicht untersuchen können

Risiken durch offene und geschlossene KI

• Der Einwand, KI sei zu gefährlich, um sie offenzulegen, verdient ernsthafte Prüfung
• Forschungspapiere beschreiben Fähigkeiten, doch die zugrunde liegende KI-Software ist selbst eine Fähigkeit; zwischen allgemeiner Forschungsoffenlegung und der Offenlegung von KI besteht daher eine reale Asymmetrie
• Dennoch ist Abschottung nicht zwangsläufig die richtige Antwort
  • Auch wissenschaftliche Entdeckungen können missbraucht werden; trotzdem wird nicht die gesamte Physik geheim gehalten, sondern es werden Aufsicht und Regeln angewandt, während das Grundlagenwissen offen bleibt
  • Auch geschlossene Modelle können geleakt oder per Jailbreak manipuliert werden und sind nicht allein deshalb sicher, weil sie geschlossen sind
• Dass wenige Unternehmen entscheiden, was der Rest der Gesellschaft bauen darf, schafft zusätzlich das Risiko einer Machtkonzentration
• Maßstab sollte nicht sein, ob offene Modelle überhaupt ein Risiko bergen, sondern ob sie gegenüber bereits verfügbaren Fähigkeiten ein bedeutendes zusätzliches Risiko schaffen

Der Unterschied zwischen Ausführungscode und Aufbaucode

• Hinter einem Modell stehen zwei Arten von Code: der Code, der das Modell ausführt, und der Code, mit dem das Modell erstellt wurde
• Ein Modell direkt ausführen zu können, ist nützlich; wichtiger für Transparenz sind jedoch der Aufbaucode und die Trainingsdaten, die zeigen, wie das Modell entstanden ist
• Modelle großer chinesischer Forschungslabore und einiger US-Unternehmen, die heute als offene Modelle bezeichnet werden, stellen Ausführungscode bereit, veröffentlichen aber weder Aufbaucode noch Trainingsdaten
• Was Nutzer erhalten, ist eine riesige Menge von Zahlen, die Intelligenz erzeugt, deren Entstehungsprozess aber unbekannt bleibt; selbst wenn man sie ausführen kann, sind sie eher magische Zahlen, die sich nicht erklären lassen
• Selbst die Offenlegung von Ausführungscode ist keine dauerhafte Zusage, sondern eine Gefälligkeit nach Ermessen des Unternehmens; es gibt keine Garantie, dass auch die leistungsstärksten Modelle künftig weiter offengelegt werden
• Offenheit, die jederzeit beendet werden kann, kann kein Fundament sein; daher braucht es beides
  • Offene Modelle, die jeder nutzen und erweitern kann
  • Offenen Quellcode und Trainingsdaten, mit denen jeder den Herstellungsprozess prüfen kann

Investitionen in Open-Source-KI als öffentliches Gut

• Es geht nicht darum, die Existenz von KI-Unternehmen oder private KI grundsätzlich abzulehnen; geschlossene private KI darf nur nicht die einzige Option werden
• Private KI in den USA erhält ausreichend Unterstützung, doch Open-Source-KI hat eine schwache Lobby und kann in Politik und Investitionen leicht herausfallen
• Frontier-Modelle könnten weiter wachsen und teurer werden, sodass Wettbewerb in dieser Größenordnung ein Feld großer Konzerne bleiben könnte
• Damit Open-Source-KI nützlich ist, muss sie nicht zwingend dieselbe Größenordnung wie modernste Modelle erreichen; viele Aufgaben, die die Welt braucht, erfordern möglicherweise keine absolut führende Spitzenleistung
• Wenn der Erhalt vertrauenswürdiger offener Alternativen große Compute-Ressourcen erfordert, ist das ein öffentliches Gut, dessen Finanzierung sich lohnt
• Regierungen, Privatsektor und Non-Profit-Organisationen sollten aktiv in freie und Open-Source-KI investieren
  • Bereitstellung öffentlicher Compute-Zuschüsse für offene Forschung
  • Unterstützung von Universitäten und Non-Profit-Organisationen, die entsprechende Forschung betreiben, durch Unternehmens- und philanthropische Mittel
  • Einführung des Grundsatzes, dass mit öffentlichen Mitteln aufgebaute KI standardmäßig offengelegt wird
• Die Art und Weise, wie Investitionen in Open-Source-Software technologischen Fortschritt vorangetrieben haben, sollte bei KI fortgesetzt werden

[GN⁺]

Hacker-News-Meinungen

• Private AI-Unternehmen trainieren ihre Modelle allesamt mit Daten, die faktisch allen entzogen wurden, und verursachen dabei sogar große Risiken; deshalb sollten sie dazu verpflichtet werden, Modelle mit offenen Gewichten unter nicht-kommerzieller Lizenz zu veröffentlichen
  Nicht die von Dario vorangetriebene Regulatory Capture, sondern genau diese Richtung sollte der Kern der Sicherheitspolitik sein

  • Ich weiß nicht, auf welchen Präzedenzfall sich die Behauptung stützt, die Daten seien gestohlen worden. Dieselben Leute, die in den letzten 20 Jahren Werbung blockiert und 5 TB an raubkopierten Filmen und Musik gesammelt haben und dabei meinten: „Für digitale Dateien werde ich niemals bezahlen“, beschimpfen es nun als Diebstahl, wenn große Sprachmodelle mit Datensätzen den nächsten Token vorhersagen
    Wenn man wirklich wütend darüber ist, dass ohne Vergütung mit allen verfügbaren Daten trainiert wird, kann ich nur sagen: selbst verschuldet
  • Ich stimme zu, vor allem weil es für Konkurrenten inzwischen schwerer geworden ist, denselben Vorteil zu erlangen. Sie müssen nicht sofort alles offenlegen oder sogar Feinabstimmungen veröffentlichen, aber zumindest die Gewichte der Basismodelle sollten öffentlich sein
  • Bei manchen Typen kann offenes Gewicht das Risiko sogar erhöhen, etwa wenn ein Modell Schritt für Schritt erklärt, wie man ansteckende biologische Waffen herstellt
  • Interessanter Gedanke, aber könnte China dann nicht sofort Modelle auf unserem Niveau bauen? Außerdem könnte der wirtschaftliche Wert von Investitionen ins Modelltraining stark sinken
  • Warum sollte kommerzielle Nutzung verboten werden? Unternehmen haben die schwierige Grundlagenarbeit schließlich nicht geleistet, und es ist schon an sich beschämend, dass man ihnen erlaubt hat, gemeinschaftliche Ressourcen so zu privatisieren

• Es braucht gemeinsam finanzierte zielgerichtete Anreizpreise für offene Modelle, ähnlich dem Ansatz des Nobelpreisträgers Michael Kremer
  Alle 6–12 Monate könnte man 200.000 Dollar an das Modell auszahlen, das als erstes einen Schwellenwert bei 5–10 schwierigen Benchmarks plus einem nicht öffentlichen Benchmark überschreitet, mit 16GB, 32GB, 64GB oder 128GB VRAM und mindestens 200K Kontextlänge. Quantisierungsmethoden wären frei, aber auf der Referenzhardware dürfte exakt nur dieser VRAM genutzt werden; Auslagerung in RAM oder auf Disk wäre nicht erlaubt
  Das Geld könnte per Crowdfunding gesammelt werden, ergänzt um Preise für unternehmensspezifische Bedarfe wie PDF-Verarbeitung, um Quersubventionen zu schaffen. So könnten etwa 25 % eines Unternehmenspreises in den allgemeinen Preispool fließen. Für Unternehmen mit offenen Modellen ist Geld nützlich, aber noch wertvoller könnte eine klare offizielle Anerkennung sein, die ihr Modell hervorhebt und die Nutzung steigert

  • Ich meine, die koreanische Regierung habe einen ähnlichen Wettbewerb veranstaltet. Im vergangenen Jahr wurden mehrere Modelle gleichzeitig veröffentlicht, um in die nächste Runde zu kommen, aber die Modelle selbst waren nicht besonders beeindruckend
    Klar definierte Hardware-Klassen sind ein gutes Unterscheidungsmerkmal, aber die Benchmarks müssen zwingend nicht öffentlich sein. Schon in ehrlichen internen Evaluierungen von Forschungslaboren ist es schwierig, für jede Runde gute Bewertungssätze zu erstellen und zu pflegen; aus Vertrauensgründen müsste man sie nach jeder Runde veröffentlichen und die nächste Bewertung neu erstellen. Das ist machbar, aber die Kosten für die Evaluationspflege könnten höher sein als die gesamte Preissumme, und das immer wieder
  • Auch wenn ich kein Spitzenmodell trainieren kann, wäre die 16GB-Klasse etwas, bei dem ich mitmachen könnte, und das klingt spannend. Spitzenmodelle liegen weit über dieser Gewichtsklasse, daher gibt es vermutlich noch viele unentdeckte Optimierungstechniken
  • Man sollte eine Anforderung an die Reproduzierbarkeit ergänzen und denselben Benchmark nicht zu lange unverändert beibehalten
  • 200.000 Dollar reichen womöglich nicht einmal, um die Stromkosten des Trainings zu decken

• FOSS ist eine falsche Analogie. Der Aufbau hochmoderner großer Sprachmodelle ist weniger Ingenieurwesen als vielmehr ein wissenschaftliches Forschungsprogramm
  Es gibt durchaus Forschungsprogramme, die praktisch nach Open-Source-Art arbeiten, einschließlich Universitäten und großer Projekte wie CERN. AI ist ebenfalls an Universitäten gewachsen, aber es hat sich gezeigt, dass das nötige Kapital nur im Privatsektor aufgebracht werden kann
  Ein ordentliches öffentliches AI-Forschungsprogramm wäre ebenfalls möglich, aber nicht als bloße leichte Erhöhung universitärer Forschungsgelder, sondern eher in der Größenordnung des Manhattan-Projekts oder Apollo-Programms, die Spitzenlabore selbst bereits als Vorbilder nennen

  • Die inflationsbereinigten Gesamtkosten des Manhattan-Projekts lagen bei etwa 40 Milliarden Dollar, aber schon eine einzige jüngste Finanzierungsrunde von Anthropic brachte 65 Milliarden Dollar ein
    Die Gesamtkosten des Apollo-Programms auf dem Höhepunkt des Kalten Krieges lägen heute bei etwa 300 Milliarden Dollar; das entspricht ungefähr dem, was OpenAI und Anthropic zusammen bisher eingesammelt haben. Ich bezweifle, dass Regierungen im heutigen politischen und wirtschaftlichen Umfeld so viel Geld für AI bereitstellen könnten. Zum Vergleich: Der LHC kostete über einen viel längeren Zeitraum nicht einmal 10 Milliarden Dollar
  • Anders betrachtet hat sich die AI-Forschung an Universitäten entwickelt, und erst in jüngerer Zeit hat der Privatsektor das Gewinnpotenzial erkannt, wenn man sie mit moderner CPU- und GPU-Technologie verbindet
    Das klingt vielleicht nach derselben Aussage, ist aber eine andere Perspektive. Wäre es einfach ein akademisches Forschungsprogramm, hätte man kaum Milliarden für Rechenzentren ausgegeben, um der breiten Öffentlichkeit AI kostenlos bereitzustellen

• Es wird bereits in Open-Source-AI investiert, aber wirklich kostenlos ist nichts. Kommerzielle AI, bei der Entwickler hauptberuflich arbeiten und bezahlt werden, wird meist zwangsläufig im Vorteil sein; mit gutem Willen und Beiträgen in Teilzeit lässt sich Lebensunterhalt und Gewinnanreiz kaum dauerhaft schlagen

  • Dasselbe hat man über komplexe und riesige Softwarebereiche wie Betriebssysteme, Datenbanken und Compiler gesagt, doch im Laufe der Zeit hat Open-Source-Software dort eine immer dominantere Stellung eingenommen
  • Artificial General Intelligence (AGI) ist keine Software
    Wenn die vier Personen Altman, Amodei, Zuckerberg und Musk, die fast monopolartig geschlossene Spitzenmodelle kontrollieren, ihre Investoren nicht täuschen, sondern tatsächlich AGI bauen, dann lassen geschlossene Modelle nur die Wahl zwischen einem starken Staat oder einem starken Oligopol bzw. einer Monarchie
    Musk und Zuckerberg haben strukturell die Befehlsgewalt. Altman hat sich nach der Ausschaltung von Rivalen und der Privatisierung faktisch die Kontrolle und die Loyalität der Organisation gesichert, und Amodei hat genug Einfluss, um die heutige Machtstruktur womöglich umzuwerfen

• Nur weil Software Closed Source ist, heißt das nicht, dass Wissen nicht geteilt werden kann. Man kann Architektur-Muster oder Best Practices erklären, ohne den zugrunde liegenden Code zu zeigen
  Die Bibliotheks-Analogie wäre erst dann stimmig, wenn Anbieter großer Sprachmodelle sich weigern müssten, Fragen zu Reinforcement Learning oder Transformern zu beantworten
  Ich unterstütze Open-Source- und Open-Weight-Modelle stark, aber vor allem, weil ich sie für das bessere Produkt halte. Training und Betrieb sind deutlich günstiger, und für die meisten Aufgaben ist Spitzenintelligenz womöglich gar nicht nötig. Überlässt man es dem Markt, werden große Sprachmodelle wohl eher Programmiersprachen ähneln, während große Labore ihr Geld eher mit anwendungsspezifischem Fine-Tuning oder kundenspezifischen Deployments verdienen

  • Man darf es nicht allein dem Markt überlassen. Kunden wählen nicht immer die technisch beste oder günstigste Option

• Wenn man der Logik folgt, mit der AI vorangetrieben wird, könnte man die Arbeit von Open-Source-Entwicklern mit ein paar sorgfältig ausgewählten Prompts für große Sprachmodelle reproduzieren — warum sollten wir sie dann finanzieren? Sollten nicht vielmehr AI-Unternehmen FOSS finanzieren, damit sie sich mehr Lösungen einprägen können?

• Man muss im Titel nur „AI“ streichen. Regierungen, Unternehmen und gemeinnützige Organisationen sollten in freie und Open-Source-Projekte investieren

• Die Bibliotheks-Analogie passt im Grunde, aber der unangenehme Teil ist, dass die meisten offenen Modelle eher dem Erhalt eines kompilierten Binärpakets entsprechen als dem Erhalt einer Bibliothek

• Wenn die Öffentlichkeit auch nur ein Mindestmaß an Kontrolle behalten soll, könnten genossenschaftlich im Besitz der Mitglieder befindliche Kooperativen der richtige Weg nach vorn sein

• David Siegel sagte vor etwa zwei Jahren in diesem Vortrag https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420, dass der Ausbau von AI-Rechenzentren verfrüht sei
  Selbst wenn sich der aktuelle Ansatz weiter skalieren ließe, wäre das so, als hätte zu Beginn der Computergeschichte jemand den O(n²)-Algorithmus Bubble Sort zum Sortieren von Zahlen erfunden und Tech-Unternehmen würden daraufhin gewaltige Rechenzentren fürs Zahlensortieren bauen, statt nach einem O(n log n)-Verfahren zu suchen. Das trifft vollkommen zu, auch für Open-Source-AI

  • Fragt Amodei, was er heute darüber denkt, dass er sogar zu einem sogenannten Space Villain gegangen ist, um Rechenleistung zu bekommen, die sonst nirgends auf dem Markt verfügbar war