11 Punkte von GN⁺ 4 시간 전 | 2 Kommentare | Auf WhatsApp teilen
  • Ein Bericht aus erster Hand, der auf direkten Besuchen bei führenden chinesischen KI-Forschungslaboren und Gesprächen mit Forschenden basiert und die kulturellen Unterschiede zwischen den KI-Ökosystemen Chinas und der USA sowie deren Einfluss auf die Modellentwicklung analysiert
  • Chinesische Forschende zeigen eine kulturelle Tendenz, sich eher auf die Optimierung der Qualität des Endmodells als auf persönlichen Ruhm zu konzentrieren; ein erheblicher Teil der zentralen Mitwirkenden sind aktive Studierende
  • Chinesische KI-Unternehmen haben ein starkes Eigentumsbewusstsein und wollen lieber den eigenen Technologie-Stack kontrollieren, statt externe Dienste einzukaufen; auch Open-Source-Veröffentlichungen beruhen auf pragmatischen Erwägungen
  • Die meisten chinesischen KI-Entwickler nutzen Claude, und es ist möglich, dass sich die Enterprise-KI-Nachfrage eher an der Entwicklung des Cloud-Markts als an SaaS orientiert
  • Die KI-Ökosysteme der USA und Chinas funktionieren strukturell unterschiedlich; wer die chinesische KI-Industrie einfach mit westlichen Frameworks abbilden will, kann zu einem Kategorienfehler gelangen

Die Denkweise chinesischer Forschender

  • Chinesische Unternehmen, die LLMs entwickeln, verbinden lange kulturelle Traditionen aus Bildung und Arbeitswelt mit feinen Unterschieden in der Führung von Tech-Unternehmen und sind dadurch als fast follower optimal strukturiert
  • Der Bau moderner LLMs hängt entscheidend von präziser Arbeit über den gesamten Stack hinweg ab – von Daten über Architekturdetails bis zur Implementierung von RL-Algorithmen – und ist ein komplexer Prozess, in dem die Leistungen einzelner Mitwirkender der mehrdimensionalen Optimierung des Gesamtmodells untergeordnet werden müssen
  • Unter US-Forschenden ist die Kultur, die eigene Arbeit aktiv zu vermarkten, stark ausgeprägt, und das Streben nach dem Ruf als „führender KI-Wissenschaftler“ führt innerhalb von Organisationen zu Konflikten
    • Es kursiert weithin das Gerücht, dass die Llama-Organisation unter dem Gewicht solcher politischen Interessen zerfallen sei
    • Aus einigen Laboren hört man sogar, dass man Top-Forschende dafür entschädigen musste, dass ihre Ideen nicht im Endmodell gelandet seien
  • Ein erheblicher Teil der zentralen Mitwirkenden in chinesischen Laboren sind aktive Studierende, und die Labore selbst sind sehr junge Organisationen
    • Das ähnelt der Struktur von Ai2, wo Studierende als Kolleginnen und Kollegen behandelt und direkt in LLM-Teams integriert werden
    • Dagegen bieten OpenAI, Anthropic und Cursor in den USA keine Praktika an, und auch bei Google-bezogenen Gemini-Praktika besteht das Risiko, dass sie von echter Arbeit getrennt bleiben
  • Konkrete Faktoren, durch die diese kulturellen Unterschiede die Fähigkeit zum Modellbau verbessern:
    • hohe Bereitschaft, wenig beachtete Arbeit zu übernehmen, wenn sie das Endmodell verbessert
    • neue KI-Fachkräfte sind nicht an frühere Hype-Zyklen gebunden und passen sich modernen Techniken schneller an
    • weniger Ego macht Organisationsstrukturen etwas skalierbarer und verringert das strategische Ausnutzen von Systemen
    • ein großer Talentpool, der gut darin ist, Probleme zu lösen, die anderswo bereits konzeptionell bewiesen wurden
  • Diese Stärken stehen im Kontrast zum bekannten Stereotyp, dass chinesische Forschende weniger kreative, felderschließende akademische Forschung im 0-to-1-Stil hervorbringen
    • Leitende Personen in akademischen Forschungslaboren bemühen sich, eine ambitioniertere Forschungskultur zu fördern
    • Einige technische Führungskräfte sind skeptisch und halten eine Neugestaltung des Bildungs- und Anreizsystems innerhalb des aktuellen wirtschaftlichen Gleichgewichts für eine zu große Aufgabe

Merkmale studentischer Forschender

  • Auch in China gibt es wie in den USA eine Art Brain Drain, und viele, die früher eine akademische Laufbahn erwogen hätten, wollen nun in der Industrie bleiben
    • Ein Forscher sagte, er habe sich für eine Professur interessiert, aber „Lehre wird durch LLMs gelöst — warum sollten Studierende mich noch etwas fragen
  • Studierende haben den Vorteil, an LLMs ohne Vorurteile heranzugehen
    • In den letzten Jahren hat sich das zentrale Paradigma bei LLMs von MoE-Skalierung → RL-Skalierung → Agentennutzung verschoben
    • Um all das gut zu beherrschen, muss man rasch Kontext aus einer breiten Literatur und dem gesamten Technologie-Stack aufnehmen; Studierende sind an diese Arbeit gewöhnt und gehen sie mit Begeisterung an
  • Chinesische studentische Forschende beteiligen sich weniger an philosophischen Diskursen und sind sehr direkt
    • Es gibt deutlich weniger chinesische Forschende als US-Forschende mit ausgearbeiteten Ansichten zur Ökonomie von Modellen oder zu langfristigen gesellschaftlichen Risiken
    • Ein Forscher zitierte Dan Wangs bekannte These: „China wird von Ingenieuren geführt, die USA von Juristen
    • In China gibt es keinen systematischen Weg, die Star-Power von Wissenschaftlern über mega-mainstreamige Podcasts wie bei Dwarkesh oder Lex aufzubauen
  • Bei Fragen zur wirtschaftlichen Unsicherheit durch KI, zu Themen jenseits von AGI oder zu moralischen Debatten über Modellverhalten spiegelten chinesische Wissenschaftler Eigenschaften wider, die aus einem System stammen, das Meinungen zu Debatte und Sozialstruktur nicht fördert

Die Stimmung vor Ort in Peking und im chinesischen KI-Ökosystem

  • Peking fühlt sich der Bay Area sehr ähnlich an; konkurrierende Labore liegen zu Fuß oder nach kurzer Fahrt voneinander entfernt
    • In 36 Stunden wurden Z.ai, Moonshot AI, die Tsinghua-Universität, Meituan, Xiaomi und 01.ai besucht
    • Mit Didi kommt man bequem herum, und bei XL-Fahrzeugen in China bekommt man oft elektrische Minivans mit Massagesitzen
  • Der Wettbewerb um Talente unter Forschenden ähnelt stark dem in den USA; Jobwechsel sind üblich, und oft entscheidet, wo gerade die beste Stimmung herrscht
  • Die chinesische LLM-Community wirkt eher wie ein Ökosystem als wie konkurrierende Stämme
    • Alle chinesischen Labore beobachten ByteDance mit seinem populären Doubao-Modell aufmerksam
    • ByteDance ist Chinas einziges Frontier-Labor in privater Hand
    • Alle Labore respektieren DeepSeek als technischen Leader mit dem besten Forschungsgespür in der praktischen Umsetzung
    • Das steht im Kontrast dazu, dass es in den USA oft schnell Funken gibt, wenn man informell Mitglieder verschiedener Labore zusammenbringt
  • Besonders eindrucksvoll an der Bescheidenheit chinesischer Forschender war ihre Gleichgültigkeit gegenüber der Business-Seite mit der Haltung: „nicht mein Problem
    • In den USA sind alle besessen von ökosystemweiten Branchentrends wie Datenverkäufern, Compute und Finanzierung

Unterschiede und Gemeinsamkeiten der chinesischen KI-Industrie

  • Der Bau von KI-Modellen ist heute nicht mehr nur das Engineering-Resultat brillanter Forschender, sondern eine komplexe Aktivität, in der Bau, Deployment, Finanzierung und Adoption zusammenkommen
  • Sechs zentrale Unterschiede zum westlichen Ökosystem:
  • 1. Frühe Anzeichen in der heimischen KI-Nachfrage

    • Es gibt die Hypothese, dass chinesische Unternehmen nicht für Software zahlen und deshalb kein riesiger Inferenzmarkt entstehen werde
    • Historisch trifft das nur auf das sehr kleine SaaS-Ökosystem in China zu; daneben existiert weiterhin ein großer Cloud-Markt
    • Die entscheidende offene Frage lautet: Wird sich Enterprise-KI-Ausgaben eher am SaaS-Markt (klein) oder am Cloud-Markt (grundlegend) orientieren?
    • Insgesamt scheint KI eher einer Cloud-ähnlichen Entwicklung zu folgen, und niemand äußerte ernsthafte Sorge darüber, dass kein Markt rund um neue Tools wachsen könnte
  • 2. Die meisten Entwickler nutzen Claude

    • Die meisten KI-Entwickler in China sind begeistert von Claude und konzentrieren sich darauf, wie Claude die Art verändert hat, Software zu bauen
    • Das geschieht, obwohl Claude nominell in China verboten ist
    • Einige Forschende erwähnten die Nutzung eigener Tools wie Kimi oder GLM CLI, aber alle sprachen auch über Claude
    • Über Codex, das in der Bay Area gerade stark an Popularität gewinnt, wurde überraschend wenig gesprochen
    • Auch wenn China historisch zurückhaltend beim Kauf von Software war, entstand nicht der Eindruck, dass es keinen massiven Nachfrageschub nach Inferenz geben werde
  • 3. Eigentumsdenken bei Technologie

    • Chinesische Kultur in Verbindung mit einer dynamischen Wirtschaftsmaschine erzeugt unvorhersehbare Ergebnisse
    • Viele KI-Modelle spiegeln keine Masterpläne wider, sondern das pragmatische aktuelle Gleichgewicht vieler Tech-Unternehmen
    • Die Branche respektiert Incumbents, von denen erwartet wird, dass ByteDance und Alibaba mit ihren erheblichen Ressourcen die meisten Märkte gewinnen werden
    • DeepSeek ist ein respektierter technischer Leader, liegt aber weit hinter der Marktführerschaft; das Unternehmen setzt die Richtung, ist aber nicht so strukturiert, dass es wirtschaftlich gewinnt
    • Dass Unternehmen wie Meituan (Lieferservice) oder Ant Group Modelle bauen, mag im Westen überraschen, aber dort gilt es als logisch, weil LLMs der Kern künftiger Technologieprodukte sein werden und man deshalb eine starke Grundlage braucht
    • Wer ein allgemeines Modell feinabstimmt, kann den Stack durch Feedback aus der Open-Community stärken und zugleich interne Fine-Tuning-Versionen für die eigenen Produkte behalten
    • Die Denkweise „open first“ ist pragmatisch motiviert: starkes Feedback zum Modell erhalten, zur Open-Source-Community beitragen und die Mission stärken
  • 4. Staatliche Unterstützung ist real, ihr Umfang aber unklar

    • Oft wird behauptet, die chinesische Regierung unterstütze den Wettbewerb um offene LLMs aktiv
    • Der Staat ist auf mehreren Ebenen dezentral organisiert, und es gibt kein klares Playbook, was auf welcher Ebene genau geschieht
    • Stadtviertel in Peking konkurrieren darum, Tech-Unternehmen mit Büros anzuziehen
    • Die angebotene „Hilfe“ umfasst ziemlich sicher vereinfachte bürokratische Prozesse wie Genehmigungen, aber ob sie bis zur Talentanwerbung oder zum Chipschmuggel reicht, ist unklar
    • Während des Besuchs gab es mehrfach Hinweise auf staatliches Interesse oder Hilfe, aber zu wenige Details, um darüber bestimmt zu berichten
    • Es gab keinerlei Anzeichen, dass die höchste Ebene des chinesischen Staates technische Modellentscheidungen beeinflusst
  • 5. Die Datenindustrie ist deutlich weniger entwickelt

    • Da bekannt war, dass Anthropic oder OpenAI mehr als 10 Millionen US-Dollar für eine einzelne Umgebung und hunderte Millionen pro Jahr für die Skalierung von RL an der Frontier ausgeben, sollte geprüft werden, ob chinesische Labore dieselben Umgebungen von US-Unternehmen kaufen oder auf Unterstützung des heimischen Ökosystems bauen
    • Nicht, dass es gar keine Datenindustrie gäbe, aber sie ist vergleichsweise qualitativ schwach, sodass es oft besser ist, Umgebungen oder Daten selbst zu bauen
    • Forschende investieren erhebliche Zeit in den Aufbau von RL-Trainingsumgebungen
    • Große Unternehmen wie ByteDance und Alibaba haben dafür interne Datenlabeling-Teams
    • All das spiegelt die Denkweise wider, eher zu bauen als zu kaufen, wie im vorherigen Punkt beschrieben
  • 6. Dringender Bedarf an Nvidia-Chips

    • Nvidia-Compute ist der Goldstandard fürs Training, und alle Labore werden in ihrer Entwicklung durch Knappheit daran gebremst
    • Wenn es Angebot gäbe, würden sie offensichtlich kaufen
    • Andere Beschleuniger einschließlich Huawei werden für Inferenz positiv bewertet, und zahlreiche Labore haben Zugang zu Huawei-Chips
  • Diese Punkte zeichnen das Bild eines sehr anderen KI-Ökosystems, in dem eine schnelle Übertragung westlicher Laborlogiken auf China zu einem Kategorienfehler führt
  • Die Kernfrage ist, ob diese unterschiedlichen Ökosysteme spürbar unterschiedliche Modelltypen hervorbringen werden – oder ob chinesische Modelle sich immer als 3 bis 9 Monate ältere Versionen amerikanischer Frontier-Modelle beschreiben lassen

Globales Gleichgewicht

  • China ist kein Ort, der sich durch Regeln oder Rezepte erklären lässt, sondern ein Ort mit sehr eigener Dynamik und Chemie
    • Die Kultur ist sehr alt und tief verankert und vollständig mit der Art verwoben, wie im Inland Technologie gebaut wird
  • Die gegenwärtige Machtstruktur in den USA nutzt ihr China-Weltbild als zentrales Instrument der Entscheidungsfindung, doch China besitzt Eigenschaften und Instinkte, die sich mit westlicher Entscheidungslogik nur schwer modellieren lassen
  • Selbst wenn man diese Labore direkt fragt, warum sie Spitzenmodelle offen veröffentlichen, ist die Schnittmenge aus Eigentumsdenken und echter Ökosystemförderung schwer zu fassen
  • Fast alle großen chinesischen Tech-Unternehmen bauen eigene allgemeine LLMs
    • Meituan (Lieferservice), Xiaomi (breit aufgestelltes Consumer-Tech-Unternehmen) und andere veröffentlichen Open-Weight-Modelle
    • Vergleichbare US-Unternehmen würden einfach Services einkaufen
    • Diese Unternehmen bauen LLMs nicht, um einem heißen Trend zu folgen, sondern aus dem tief verankerten Wunsch, den eigenen Stack zu kontrollieren und die wichtigste Technologie der Epoche zu entwickeln
  • Die Menschlichkeit, der Charme und die aufrichtige Wärme chinesischer Forschender waren eine sehr menschliche Erfahrung
    • Die harten geopolitischen Gespräche, an die man in den USA gewöhnt ist, schienen sie überhaupt nicht zu prägen
  • Wenn ein offenes Ökosystem weltweit floriert, kann es sicherere, zugänglichere und nützlichere KI hervorbringen; die aktuelle Frage ist, ob US-Labore Schritte unternehmen werden, um sich diese Führungsposition zu sichern
  • Es kursieren zunehmend Gerüchte über Executive Orders, die offene Modelle betreffen könnten, was die Synergie zwischen der Führungsrolle der USA und dem globalen Ökosystem weiter verkomplizieren könnte

2 Kommentare

 
jjw9512151 3 분 전

Manchmal mache ich mir Sorgen, dass eine übermäßige irrationale Besessenheit von China
nicht ein Monster in uns selbst erschafft.

So wie einer der Vorwände für die Machtübernahme der Nazis der Antikommunismus war.

 
kaydash 12 분 전

Nur ein einziges China ...!