- Nach der Veröffentlichung von Kimi K3 wurden die Stimmen lauter, die Open-Source-KI als gefährliche Bedrohung sehen. Doch auch proprietäre Software baut auf Open Source auf, und KI-Modelle sind ebenfalls solche Softwareprodukte.
- Kommerzielle Unternehmen entwickeln gemeinsam nicht differenzierende Unterkomponenten und konkurrieren bei übergeordneten Produkten. Daher könnten auch KI-Modelle zu Commodities werden – Frontier-Labore haben jedoch Anreize, genau das nicht zu wollen.
- Wie die Beispiele PGP und SSL zeigen, ist es äußerst schwierig, Open-Source-Software einzudämmen. Selbst wenn man chinesische Modelle regulieren wollte, würde durch Destillation und Fine-Tuning die Zuordnung nach Nationalität unscharf, sodass am Ende möglicherweise nur US-Nutzer eingeschränkt würden.
- Nvidia, US-Startups, Unternehmenskunden von KI sowie Google und Meta haben jeweils eigene geschäftliche Gründe, Open-Source-Modelle zu entwickeln. Kostenlose Modelle können zu einer Ressource der KI-Transformation werden, mit der ein Land neue Technologien aufnimmt und seine Wirtschaft wachsen lässt.
- Argumente, die vor chinesischem Dumping, Propaganda oder Backdoors warnen, übersehen, dass Software kopiert, verändert und überprüft werden kann. Open-Source-KI ist mächtig und schwer zu kontrollieren und wird sich daher voraussichtlich trotz politischer Eindämmungsversuche weiter verbreiten.
Wie Open Source kommerzielle Software stützt
- Dean Ball von OpenAI sieht die Möglichkeit eines „KI-Kommunismus“, bei dem KI durch die Dominanz von Open-Weight-Modellen zu einem öffentlichen Gut statt zu einem Marktprodukt wird.
- Die Logik der Frontier-Labore lautet, dass Open-Source-Modelle gefährlich seien und daher nur verantwortungsvolle Gatekeeper und vertrauenswürdige Nutzer Zugang erhalten sollten. Tatsächlich ist jedoch die gesamte proprietäre Software auf Open Source aufgebaut.
- Softwareprodukte bestehen aus vielen übereinanderliegenden Programmschichten.
- Um einen Dienst wie Uber zu bauen, braucht man zahlreiche Komponenten: Frameworks für Programmiersprachen, Software zum Senden und Empfangen von Web-Traffic, Datenanalyse-Tools und mehr.
- Die meisten dieser unteren Komponenten sind für Unternehmen kein Differenzierungsmerkmal. Daher entspricht es ihren kommerziellen Interessen, sie gemeinsam zu entwickeln und auf den höheren Ebenen zu konkurrieren, auf denen echte Differenzierung stattfindet.
- Frontier-Labore wollen nicht, dass KI-Modelle zu so gewöhnlichen, allgemeinen Bausteinen werden, dass man über sie nicht mehr konkurrieren muss. Ob es tatsächlich so kommt, ist aber noch offen.
- Mit Open-Source-Modellen sind hier Open-Weight-Modelle gemeint.
Warum Open Source schwer einzudämmen ist
- Open-Source-Software ist äußerst schwer einzudämmen, und Eindämmungsversuche können heimische Unternehmen im Wettbewerb mit internationalen Konkurrenten schwächen.
- Als Phil Zimmermann 1991 PGP entwickelte, behandelte die US-Regierung Verschlüsselung als Militärtechnologie und leitete strafrechtliche Ermittlungen gegen Zimmermann ein.
- Als Netscape SSL entwickelte, erlaubte die US-Regierung nur die Verbreitung abgeschwächter Versionen im Ausland.
- Weil die abgeschwächte internationale Version leichter erhältlich war, nutzten sie auch viele Amerikaner.
- Exportkontrollen konnten die Verbreitung von Verschlüsselung nicht verhindern und wirkten sich stattdessen zum Nachteil von Amerikanern aus.
- Verschlüsselungswerkzeuge wie SSL und PGP wurden weltweit weiter genutzt, und Gerichte entschieden, dass die Veröffentlichung von Verschlüsselungs-Quellcode als geschützte Meinungsäußerung gilt.
- Später lockerte die US-Regierung die Exportkontrollen für Verschlüsselung.
Warum es schwierig ist, nur chinesische Modelle zu regulieren
- Schon die Kriterien zur Bestimmung der Nationalität eines Modells sind unklar.
- Es ist unklar, ob ein aus einem US-Modell destilliertes Modell als chinesisches Modell gelten kann.
- Ebenso ist nicht eindeutig, welchem Land ein Modell zuzuordnen ist, wenn ein Amerikaner ein chinesisches Modell fine-tunt.
- Solche Regeln würden bestenfalls vorübergehend administrativen Aufwand und eingeschränkten KI-Zugang für Amerikaner verursachen und sie gegenüber anderen Ländern benachteiligen.
Anreize für Open-Source-KI auch außerhalb Chinas
- Open-Source-KI ist keine Technologie, für deren Entwicklung nur die chinesische Regierung Anreize hat. Viele kommerzielle Akteure können sich aus jeweils eigenen geschäftlichen Gründen beteiligen.
-
Chiphersteller
- Nvidia-CEO Jensen Huang nennt das, was Nvidia baut, „Token-Fabriken“.
- Nvidia will möglichst viel Token-Nachfrage erzeugen – egal, ob Frontier-Modelle oder günstige Open-Source-Modelle auf den eigenen Chips laufen.
- Das Unternehmen hat auch eine eigene Familie von Nemotron-Open-Source-Modellen veröffentlicht.
- Das enorme Kapital, das in das Training von Frontier-Modellen fließt, ist ebenfalls vorteilhaft für Nvidia. Langfristig profitiert das Unternehmen aber auch, wenn kommerzielle Token-Nachfrage durch Open-Source-Token-Nachfrage ersetzt wird.
-
US-Startups
- Thinking Machines Lab hat mit Inkling ein leistungsfähiges Open-Source-Modell veröffentlicht.
- Das Unternehmen geht davon aus, dass sich ein verteidigbarer Wettbewerbsvorteil bei ergänzenden oder maßgeschneiderten Zusatzdiensten schaffen lässt, wenn Modelle zu Commodities werden.
-
Unternehmenskunden von KI
- Derzeit beteiligen sie sich noch nicht aktiv an der Entwicklung von Open-Source-KI, doch für Aufgaben mit geringer Komplexität werden sie günstigere Modelle wollen.
- Für kundenorientierte Funktionen benötigen sie feinere Kontrollmöglichkeiten.
-
Große Technologieunternehmen
- Google und Meta müssen das neue Werbeprodukt von OpenAI im Blick behalten.
- Wenn das Werbegeschäft von Frontier-Modellen wächst, entsteht ein Anreiz, werbefreie Open-Source-Modelle zu Commodities zu machen und damit den Wettbewerb im Werbemarkt zu dämpfen.
Das unklare Ziel des „KI-Wettlaufs“
- Sorgen über chinesische Modelle konzentrieren sich häufig auf die Formulierung, man könne den KI-Wettlauf verlieren. Dabei ist nicht einmal klar, ob das Ziel die Entwicklung des besten Modells oder der Verkauf der meisten Tokens ist.
- Ein KI-Wettlauf ist anders als der Wettlauf, als Erster eine Rakete zum Mond zu schicken: Es geht um den Umgang mit einer neuen transformativen Technologie. Der Begriff ist daher ähnlich unscharf wie „Internet-Wettlauf“.
- Wenn es einen Wettbewerb zwischen Staaten gibt, liegt der Kern darin, den technologischen Wandel aufzunehmen und die Wirtschaft wachsen zu lassen. Nach diesem Maßstab sind kostenlose KI-Modelle kein Risiko, sondern ein Vorteil.
Das Argument des chinesischen KI-Dumpings
- Scott Galloway meint, China habe bei Solarmodulen, Stahl, Elektroautos und Batterien die Qualität auf westliches Niveau gebracht, dann die Preise auf ein Drittel gesenkt und so die Märkte dominiert; dieselbe Strategie könne China auch auf kostenlose KI anwenden.
- KI ist jedoch – abgesehen von Chips – kein physisches Gut.
- Solarmodule und Stahl benötigen physische Lieferketten, deren einzelne Stufen nur schwer unabhängig voneinander bestehen können.
- Wenn man im eigenen Land keine Solarmodule herstellt, ist es auch schwierig, ein Geschäft mit Silizium-Wafern für Solarzellen aufzubauen.
- Software verhindert nicht, dass in den USA ein Fine-Tuning-Geschäft entsteht, nur weil ein Open-Source-Modell aus China stammt. Im Gegenteil: Sie kann als Grundlage für dieses Geschäft dienen.
Propaganda-Bias und Modellanpassung
- Es ist nicht unplausibel anzunehmen, dass chinesische Modelle einen prochinesischen Bias enthalten könnten. Das ist jedoch schwer als Grund für Eindämmung zu verwenden.
- Wenn politische Voreingenommenheit in Open-Source-Modellen ein Problem ist, können US-Nutzer sie anpassen und als „amerikanisierte“ Modelle erneut veröffentlichen.
- Auf dem US-Markt dürfte ein verzerrtes, prochinesisch voreingenommenes Modell kaum ein ähnlich leistungsfähiges proamerikanisch voreingenommenes Modell übertreffen.
Backdoors und öffentliche Überprüfung
- Auch KI verändert die Grundstruktur des Marktes für Schwachstellen nicht: Verantwortliche Akteure patchen Schwachstellen, Angreifer nutzen sie aus.
- Wenn man die Werkzeuge verantwortlicher Akteure einschränkt, hilft das nur den Angreifern.
- Es ist theoretisch möglich, dass böswillige Akteure verborgenes feindliches Verhalten in ein Modell einbauen.
- Verantwortliche Akteure müssen solches Verhalten so schnell wie möglich finden. Am wirksamsten ist es, wenn jeder das Modell überprüfen kann.
Wettbewerbsfähigkeit von Frontier-Modellen und Coding-Agents
- Es gibt keine Garantie, dass Frontier-Anbieter auch die Nicht-Frontier-Märkte dominieren.
- Bei der Entwicklung kleiner Modelle ist der Zugang zu riesigen Kapitalmengen weniger wichtig.
- Frontier-Anbieter können Nutzer zu teureren Modellen lenken und haben daher wenig Anreiz, kleine Modelle aktiv zu entwickeln.
- Die Bindung an Claude Code und Codex ist eher wie bei Coke und Pepsi: Hat man sich einmal entschieden, gibt es wenig Grund zu wechseln – allerdings nur unter der Voraussetzung, dass Kosten und Qualität ähnlich sind.
- Coding-Agents haben keinen verteidigbaren Wettbewerbsvorteil. Schon kleine Unannehmlichkeiten wie Preisunterschiede, Modellqualität oder Zuverlässigkeitsprobleme können Nutzer dazu bringen, zu einem anderen Agent zu wechseln.
Die Verbreitung von Open-Source-KI
- Open-Source-KI ist mächtig und schwer zu kontrollieren; sie lässt sich kaum allein durch die Präferenzen von politischen Entscheidungsträgern oder Unternehmensführern aufhalten.
- Versuche, ihre Verbreitung zu unterdrücken, erzeugen nur vorübergehendes Rauschen, verhindern aber nicht den Aufstieg von Open-Source-KI.
1 Kommentare
Hacker-News-Meinungen
Das ist keine Open-Source-KI. Open Source wäre es nur mit dem Photoshop-Quellcode und einer OSI-Lizenz; wenn nur Binärdateien veröffentlicht werden, handelt es sich um offene Gewichte, und SaaS-Web-Apps sind geschlossene Modelle wie GPT oder Opus/Fable
Das betreffende chinesische Modell erlaubt lediglich, die Binärdatei in einer eigenen Umgebung statt über eine API auszuführen. Wer echte Open Source will, sollte sich Projekte wie OLMo 3 ansehen: https://allenai.org/
Allerdings existieren Bausteine wie MAP-Neo und YuLan-Mini für transparentes Pretraining sowie DAPO/verl und Open-Reasoner-Zero für Reinforcement Learning beim Schlussfolgern verteilt über mehrere Projekte. Dass ein chinesisches OLMo erscheint, ist nur eine Frage der Zeit; zusammen mit den Bemühungen des öffentlichen Sektors weltweit, darunter das Schweizer Apertus und Japans LLM-jp-4, dürfte bis 2027 eine vollständige Open-Source-Dokumentation auftauchen, mit der auch Einzelpersonen zumindest Spitzmodelle auf dem Stand von 2023–2024 reproduzieren können
Es ähnelt eher wissenschaftlicher Forschung und braucht öffentliche Finanzierung sowie vertrauenswürdige Institutionen zu deren Verwaltung. Ich hoffe, dass Allen AI diese Rolle übernimmt, aber es ist fraglich, ob sich die USA auf die für gemeinwohlorientierte KI nötigen Investitionen zubewegen. Außerdem ist Photoshop ein ungeeigneter Vergleich zu Modellen mit offenen Gewichten. Eine Photoshop-Kopie darf man nicht legal verbreiten, GLM 5.2 dagegen schon; für den Vergleich müsste man eher eine kostenlose proprietäre Anwendung heranziehen
Selbst wenn man die kompletten Trainingsdaten und die Architektur bekäme, würde man ein Modell für gewünschtes Verhalten feinabstimmen, statt es zur Änderung von Grund auf neu zu trainieren. So wie man es Open Source nennt, wenn Software veränderbar ist, kann man auch ein Modell als offen ansehen, wenn es feinabstimmbar ist
Praktisch braucht man echte Open Source, wenn man ein gleichwertiges Modell von Grund auf trainieren will
Die Unruhe rund um chinesische Modelle konzentriert sich darauf, dass man „im KI-Wettbewerb zurückfällt“, aber das Ziel, von dem manche sprechen, ist das Erreichen einer Art Singularität. Selbst wenn man science-fictionhafte Deutungen nicht glaubt, gibt es ein realistisches Argument dafür, dass bestimmte Erfolge in der KI-Entwicklung faktisch zu extrem mächtigen Waffen werden könnten
Altman hat letztlich auch öffentlich gesagt, dass so etwas passieren werde und dass er es selbst hervorbringen wolle. Auch ohne Superintelligenz ist es für Regierungen schon beunruhigend genug, wenn Maschinen Cybersicherheitslücken angreifen können; die US-Regierung hat jüngst beim Verbot amerikanischer Modelle ebenfalls eine solche Begründung genutzt. Man muss nicht an die Singularität glauben, um leicht zu verstehen, dass manche sie als Ziel des KI-Wettbewerbs ansehen
Stattdessen führte man GLM ohne solche Leitplanken aus, analysierte die Daten und fand die Grundursache. Damit Unternehmen Bedrohungen richtig bewerten können, brauchen sie auch Modelle mit möglichst wenigen Leitplanken. Ohne KI mit offenen Gewichten, die außer Kontrolle geratene Spitz-KI prüfen kann, verschwinden auch die Mittel zur Reaktion
Investoren erwarten schon vor der Singularität kontinuierliche Erträge, daher müssen Unternehmen Modelle verkaufen. Wenn man die aktuelle Generation zu stark abschottet, entsteht ein heikles Gleichgewicht, weil dann auch das Geld für die nächste Generation fehlt
Es ist schon komisch, dass nur 4 Tage später https://news.ycombinator.com/item?id=48997548 erschien, nachdem ein OpenAI-Manager Panik geschürt hatte mit der Behauptung, „aus einem chinesischen Labor sei ein Agent entkommen, der weder lebt noch sichtbar ist, gefährlich ist und sich unbegrenzt selbst repliziert“
Über das Ausmaß der KI-Sicherheitsbedenken in naher Zukunft bis mittelfristig kann es vernünftige Meinungsverschiedenheiten geben. Dass die einschlägigen Argumente überhaupt nicht behandelt wurden, mindert den Wert dieses Artikels erheblich
Die Perspektive des Artikels ist der Vergleich zwischen offener und geschlossener KI, und da die Sicherheitsbedenken zwischen beiden Ansätzen aus meiner Sicht nicht stark auseinandergehen, wurde dem nicht viel Raum gegeben
Der Grund, warum man sich gegen KI stellt, die frei lokal ausgeführt werden kann, ist, dass Unternehmen die breite Öffentlichkeit kontrollieren wollen. Die USA sind eine unternehmenszentrierte Hölle
LLMs werden nicht nur mit öffentlichen Daten trainiert, sondern auch mit illegal beschafften Daten. Die Vergleichszahlung von 1,5 Milliarden Dollar von Anthropic ist ein Beispiel dafür, und ohne gewaltige Mengen menschlicher Daten sind LLMs nichts
Man kann daher der Ansicht sein, dass solche Forschung auf Regierungen und regulierte Universitäten beschränkt sein oder von echten gemeinnützigen Gemeinschaften mit demokratischen Leitungsstrukturen verwaltet werden sollte, ähnlich wie bei Internetstandards und Telekommunikation, statt von intransparenten börsennotierten Unternehmen mit Interessenkonflikten. So sehr sie auch ihre Tugendhaftigkeit zur Schau stellen, es ist schwer zu glauben, dass private Unternehmen sich selbst wirksam regulieren und Risiken gegenüber der Öffentlichkeit und der Wissenschaft transparent machen würden, und fortlaufende Interessenkonflikte untergraben ihre Glaubwürdigkeit
„Man kann X nicht aufhalten“ ist ein faules und miserables Argument, um die Schlussfolgerung zu stützen, dass „X nicht schlecht ist“. Zum Rest des Artikels gibt es nichts zu sagen
Mein Standpunkt ist, dass Open-Source-AI nicht aufgehalten werden kann und dass Versuche, sie zu stoppen, zwangsläufig böswilligen Akteuren mehr Macht geben als guten Akteuren
Lobbygelder kümmern sich nicht um solche Debatten
In chinesischen Routern und Netzwerkgeräten werden immer wieder Backdoors entdeckt. Es ist fraglich, ob es je eine Möglichkeit geben wird, chinesische Modelle vollständig zu auditieren
Modelle mit offenen Gewichten sind nicht an eine bestimmte Ausführungsschicht gebunden, daher beschränkt sich der tatsächlich besorgniserregende Sicherheitsbereich auf die Gewichte selbst. Es muss konkretisiert werden, ob es um adversariales Prompt Injection, um die Einschleusung von Geschichtsfälschung und Propaganda oder um einen anderen Weg geht, auf dem nicht-souveräne Modelle besonders riskanter werden als souveräne Modelle
Dieser Artikel behandelt das Sicherheitsproblem überhaupt nicht. Was soll böswillige Akteure davon abhalten, offene Gewichte feinzujustieren und damit faktisch vollständig automatisierte, geniale Betrugsmaschen gegen praktisch jede Einzelperson zu betreiben?
Letztlich braucht die gute Seite offene Gewichte, um den Missbrauch geschlossener Gewichte zu verhindern, egal ob feinjustiert oder vortrainiert
Die Gier der AI-Führungskräfte hat die Büchse geöffnet, und jetzt suchen sie verzweifelt nach einem Weg, nur die Gewinne einzustreichen, ohne Verantwortung für die Folgen zu tragen
Wer die Mittel hat, sie lokal auszuführen, kann weit Schlimmeres tun als Betrug. Fragt einfach die Lobbyisten