Open-Weight-AI erlebt ihren Kubernetes-Moment

 (tobi.knaup.me)
1 Punkte von GN⁺ 2 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Open-Weight-Modelle mit ausreichender Leistung und Portabilität können zur Grundlage werden, die Entwickler, Cloud-Anbieter und Unternehmen gemeinsam ausbauen, und so ein Innovationsökosystem schaffen, das für einen einzelnen Anbieter nur schwer einzuholen ist
  • So wie Kubernetes auf einer gemeinsamen Schnittstelle Networking-, Storage- und Observability-Tools angezogen hat, wächst auch in der AI ein Production-Stack, der von Model Serving über Fine-Tuning und Agent-Runtimes bis zur Evaluierung reicht
  • Die öffentlichen Modelle von Hugging Face haben die Marke von 2 Millionen überschritten, GLM-5.2 lag in der hauseigenen SWE-bench-Pro-Bewertung mit 62,1 % vor GPT-5.5 mit 58,6 %, und Kimi K3 erzielte in unabhängigen Bewertungen ähnliche Werte wie Opus 4.8 und GPT-5.5
  • Würde man Open-Weight-Modelle aus China breit verbieten, ginge die weltweite Entwicklung weiter, während nur US-Forscher und -Unternehmen aus dem Ökosystem ausgeschlossen würden; Innovation könnte sich rund um chinesische Modelle ansammeln, die im vergangenen Jahr 41 % der Hugging-Face-Downloads ausmachten
  • Die USA sollten nicht mit Verboten, sondern mit der Veröffentlichung kommerziell nutzbarer Frontier-Modelle, staatlicher Beschaffung mit Fokus auf Portabilität und Interoperabilität, dem Aufbau des gesamten Tooling- und Betriebs-Layers sowie mit unabhängigen Sicherheitstests und Standards konkurrieren

Die Stärke offener Plattformen, wie Kubernetes sie gezeigt hat

  • Mesosphere entwickelte Open-Source-Cloud-Native-Software auf Basis von Apache Mesos und baute darum DC/OS auf, das als Enterprise-Distribution mit Support und proprietären Funktionen kommerzialisiert wurde
  • Später erschütterte das neuere und vollständigere Open-Source-Projekt Kubernetes Mesosphere, indem es die Cloud-Native-Community hinter sich versammelte
    • Weltweit führende Engineers für verteilte Systeme und Infrastruktur setzten ihre Karriere auf Kubernetes, und auch einige besonders loyale Community-Mitglieder von Mesosphere wechselten dorthin
    • Als sich das Zentrum der Innovation zu Kubernetes verlagerte, wurden fehlende Komponenten wie Networking, Storage, Observability, Deployment-Tools und Policy-Engines schnell entwickelt
  • Weil viele Startups und etablierte Anbieter einstiegen, wurde fast jede Komponente, die für den produktiven Betrieb von Kubernetes nötig war, als Open Source verfügbar
    • Cloud-Anbieter sowie Mesosphere/D2iQ, Rancher, Red Hat und Nutanix bauten ihr Geschäft auf Integration, Enterprise-Funktionen, Support und Betrieb auf
  • Der Erfolg von Kubernetes war nicht einfach das Ergebnis eines öffentlich zugänglichen Repositories
    • Es etablierte sich als neutrale Grundlage, die Engineers, Cloud-Anbieter und Enterprise-Vendoren im Einklang mit den Kundenanforderungen erweitern konnten
    • Gemeinsame Schnittstellen und vendor-neutrale Governance gaben den Beteiligten das Vertrauen, dass sie langfristig darauf Produkte aufbauen konnten
  • Wenn eine anpassbare offene Plattform zum Zentrum einer Branche wird, fällt es einem einzelnen Anbieter schwer, mit der gebündelten Innovationsgeschwindigkeit des gesamten Ökosystems mitzuhalten

Der Unterschied zwischen Open Weight und Open Source AI

  • Die meisten Modelle, die oft als Open Source bezeichnet werden, sind genau genommen Open-Weight-Modelle
  • Auch wenn etwas nicht vollständig Open Source ist, kann sich rund um ein Artefakt, das Nutzer ausführen und verändern können, ein Ökosystem bilden
  • Zwischen Kubernetes und AI gibt es auch wichtige strukturelle Unterschiede
    • Beiträger zu Kubernetes konnten den tatsächlichen Source Code untersuchen, verändern und Verbesserungen in das gemeinsame Upstream-Projekt einbringen
    • Ergebnisse von Model-Fine-Tuning werden in der Regel nicht auf die gleiche Weise geteilt
    • Selbst wenn sich die Gewichte eines Frontier-Modells herunterladen lassen, kann für die Ausführung teure Hardware nötig sein
    • In der AI gibt es keine Organisation wie die CNCF, die neutrale Governance und gemeinsame Schnittstellen bereitstellt
  • Die Gemeinsamkeit beider Ökosysteme liegt darin, dass eine leistungsfähige und portable Grundlage komplementäre Innovation jenseits dessen anzieht, was der ursprüngliche Hersteller allein schaffen kann

Vom Self-Hosting zur Modellplattform

  • Der erste Grund für die Einführung von Open-Weight-Modellen war Self-Hosting
    • Unternehmen wollten Modelle in ihrer eigenen Cloud oder ihrem eigenen Rechenzentrum ausführen und dabei ihre Daten direkt kontrollieren
    • Mit wachsendem Nutzungsvolumen und steigenden Inferenzkosten nahm auch der Wunsch zu, die Kosten selbst zu kontrollieren
  • Auf Basis dieser Nachfrage entstand ein Open-Source-Model-Serving-Stack mit vLLM, SGLang, llama.cpp, Ollama, MLX und weiteren Projekten
  • Open Weight geht über Self-Hosting hinaus und ermöglicht es Entwicklern, das Modell selbst zu verändern und weiterzuverbreiten
  • Bei Hugging Face sind mehr als 2 Millionen öffentliche Modelle registriert
  • Rund um populäre Modellfamilien wie Qwen und Gemma entstehen vielfältige abgeleitete Artefakte
    • Quantisierte und konvertierte Gewichte für verschiedene Halbleiterarchitekturen und Größenordnungen
    • Fine-Tuning-Modelle und LoRA-Adapter für Coding, Medizin, Recht, Mathematik und Agent-Workflows
    • Model Merges, die unterschiedliche Fine-Tuning-Ergebnisse kombinieren
    • Modellvarianten für verschiedene Runtimes wie TensorRT-LLM, vLLM und MLX

Frontier und die kleiner werdende Leistungslücke

  • Früher war die Basisleistung offener Modelle für die schwierigsten Coding- und Agent-Aufgaben zu schwach, um sie im Frontier-Wettbewerb ernsthaft zu berücksichtigen, doch diese Lücke schrumpft schnell
  • Z.ai hat GLM-5.2 veröffentlicht und bietet offene Gewichte unter MIT-Lizenz an
    • In der hauseigenen Bewertung erreichte es auf SWE-bench Pro 62,1 % und lag damit vor GPT-5.5 mit 58,6 %
    • Die Ergebnisse können jedoch je nach Benchmark und Agent-Harness variieren
  • Moonshot kündigt an, dass Kimi K3 bei langfristigen Coding-Aufgaben an geschlossene Frontier-Modelle heranreicht, und verspricht die Veröffentlichung der Gewichte am 27. Juli
  • Sobald die Leistung der Basismodelle hoch genug ist, können Agent-Runtimes, Coding-Harnesses, Sandboxes, Evaluierung, Observability und spezialisierte Fine-Tuning-Projekte kaskadenartig wachsen
  • Diese Komponenten bilden zusammen einen produktionsreifen offenen Stack, der sich an Workloads, Hardware und Kostenstruktur eines Teams anpassen lässt
    • Dabei laufen Open-Weight-Modelle auf Open-Source-Software
    • Es ist nicht garantiert, dass sie in jedem Benchmark jedes geschlossene Modell schlagen
  • Frontier-AI ist ein Wettbewerb um Talente, und ein offenes Ökosystem gibt Talenten weltweit einen Grund, auf derselben Grundlage zu entwickeln

Auswirkungen eines Verbots chinesischer Modelle auf die USA

  • Nach dem Auftauchen starker chinesischer Modelle wie Kimi K3 soll die Trump-Regierung Beschränkungen für chinesische Open-Weight-Modelle prüfen
    • Wie ein mögliches Verbot konkret aussehen würde, ist noch unklar
  • Ein breites Verbot der Nutzung chinesischer Open-Weight-Modelle könnte dazu führen, dass sich US-Forscher und -Unternehmen selbst von einem Ökosystem abkoppeln, in dem sich weltweit führende AI-Forscher und Engineers versammeln
    • An diesem Ökosystem sind auch viele chinesische Forscher beteiligt
    • Die weltweite Entwicklungsarbeit würde weitergehen, nur US-Entwickler hätten keinen Zugang mehr
  • Rund um Qwen zeigt sich diese Dynamik bereits
    • Nach Daten von Hugging Face entfielen im vergangenen Jahr 41 % aller Model-Downloads auf chinesische Modelle
  • Wenn die besten Open-Weight-Basismodelle weiter aus China kommen, könnten sich wie einst bei Kubernetes Tools und Innovation um diese Modelle herum ansammeln

Vier Wege, auf denen die USA konkurrieren können

  • Veröffentlichung von US-Frontier-Modellen

    • US-Labore sollten Open-Weight-Frontier-Modelle unter Lizenzen veröffentlichen, mit denen Startups tatsächlich Produkte bauen können
    • Einige Fortschritte sind bereits zu sehen
    • NVIDIA Nemotron kann unter der permissiven Lizenz von NVIDIA kommerziell genutzt werden
    • Inkling von Thinking Machines, gpt-oss von OpenAI und Gemma 4 von Google wurden unter Apache 2.0 veröffentlicht
    • Doch die leistungsstärksten Modelle der meisten US-Frontier-Labore, darunter auch die Topmodelle von OpenAI und Google, sind weiterhin geschlossen

  • Einen offenen Markt durch staatliche Beschaffung schaffen

    • Staatliche Beschaffung sollte Nachfrage nach Systemen schaffen, die Portabilität und Interoperabilität bieten, statt Systeme zu fördern, die dauerhaft von einem einzelnen API-Anbieter abhängen
    • Das US-Verteidigungsministerium nutzt bereits einen ähnlichen Ansatz
    • Platform One stellt Open-Source-Tools und Enterprise-Produkte bereit, auf denen verschiedene Militärprogramme aufbauen können
    • Mit derselben Beschaffungslogik ließe sich Innovation rund um Open-Weight-Modelle beschleunigen

  • Den gesamten Stack jenseits des Modells aufbauen

    • US-Unternehmen müssen auch die übrigen Layer rund um das Modell aufbauen
    • Startups können Modelle anpassen, erweitern und in Produkte einbetten
    • Auch Serving-, Tooling-, Support- und Betriebs-Layer sind Geschäftschancen
    • Führende US-Halbleiterunternehmen können ihre Hardware weiter verbessern, und Hyperscaler sowie Neo-Clouds können Modelle und Ökosysteme als Services anbieten

  • Statt Verboten Tests und Standards einführen

    • Sicherheit ist das stärkste Argument für Beschränkungen, doch ein pauschales Verbot ist zu weitreichend und opfert sogar den Zugang zum gesamten Ökosystem
    • Die bessere Antwort wäre, unabhängige Tests und Standards für Frontier-Modelle zu etablieren
    • Kubernetes-Konformitätstests prüfen nicht Sicherheit, sondern Kompatibilität und sind daher kein exaktes Vorbild für AI
    • Unabhängige Kriterien und Governance-Modelle können aber als Referenz dienen
    • Demis Hassabis hat eine ähnliche US-geführte unabhängige Standardisierungsorganisation vorgeschlagen

Wettbewerbsstrategie im offenen AI-Ökosystem

  • Die USA sollten chinesische Modelle direkt ausführen, intern analysieren, benchmarken und verbessern, statt Barrieren um ihre eigenen Entwickler zu errichten
  • Gleichzeitig sollten sie bessere US-Alternativen aufbauen und den amerikanischen AI-Stack zur weltweit am leichtesten einführbaren Option machen
  • Die USA haben über Jahrzehnte hinweg den Raum geboten, um die besten Tech-Talente der Welt anzuziehen und zu fördern
  • Wenn sie diesen Wettbewerbsvorteil in ein geschlossenes Ökosystem verwandeln, während andere Länder offenere Stacks als Standard übernehmen, geben die USA ihre Position als AI-Führungsmacht selbst auf

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2 시간 전
Hacker-News-Kommentare

  • Ein Verbot chinesischer Modelle scheint technisch unmöglich. Gewichte sind letztlich nur Zahlen, daher lässt sich nicht zwischen US- und chinesischen Modellen unterscheiden, und ein herkunftsbasiertes Verbot wäre leicht zu umgehen
    Am Ende müsste man alle Modelle mit offen zugänglichen Gewichten regulieren; laut einem Axios-Bericht haben große AI-Labore oder beteiligte Akteure der US-Regierung tatsächlich alle 3 bis 5 Monate ein Verbot von Open-Source-Modellen vorgeschlagen
    Man könnte zwar ein DRM-ähnliches Lizenzsystem erzwingen, sodass nur zertifizierte US-Modelle auf eigenen Servern laufen dürfen, aber das würde großen Laboren ein Monopol geben und auch die Verbreitung abgeleiteter Modelle verhindern. Im Ausland wäre das schwer durchzusetzen, sodass am Ende wohl nur US-Bürger eingeschränkt würden

    • Ein Verbot von Open-Source-Modellen würde wie bei Software schnell mit dem First Amendment kollidieren. Die moderne DeCSS-Flagge könnte als Textform lauten: „Ich denke, gute Gewichte sind {...weights go here...}“
      Stattdessen könnte man Zahlungen für Inferenz- oder AI-Dienste an chinesische Unternehmen oder von chinesischen Unternehmen kontrollierte Anbieter verbieten
    • Wenn die US-Regierung chinesische Unternehmen für offene Modelle auf die Entity List setzt, könnten alle Firmen mit US-Geschäft nicht mehr mit ihnen handeln. Auch wenn sich die Herkunft eines Modells nicht perfekt feststellen lässt, sind die Strafen so hart, dass US-Unternehmen wahrscheinlich weder klar chinesische Modelle anbieten oder nutzen noch Umgehungen versuchen würden
    • Es würde reichen, wenn Regierungsbehörden eine Liste von Modellen auf Hugging Face erstellen und deren Bereitstellung des Zugangs verbieten. Auch ohne furchteinflößende Gesetzesformulierungen würden US-Unternehmen und Hosting-Anbieter diese Modelle dann allein wegen einer Sperrliste nicht mehr auf Servern ausführen
    • US-Unternehmen könnte man zur Einhaltung zwingen und sie dazu bringen, Modelle von Hugging Face zu entfernen, aber sobald im Ausland Ersatzdienste entstehen, würden alle dorthin wechseln. Am Ende wäre das ein für die USA nachteiliges Ergebnis
    • Modelle sind ebenfalls Software, daher könnte ihr Einsatz in Hochsicherheitsumgebungen, die eine FedRAMP-Zertifizierung erfordern, verboten werden. Die USA haben jedoch keine Great Firewall, daher ist es unmöglich, die Einfuhr über das Internet selbst zu blockieren

  • Einer der seltsamsten Aspekte der AI-Branche ist das Token-Preissystem. Warum GPT-4 Anfang 2023 extrem teuer war und man sechs Monate später für 20 Dollar bereits recht viel Inferenz nutzen konnte, ist unklar; auch die Preise vieler Labore und Anbieter schwankten über Jahre ohne klar erkennbare Grundlage
    Modelle mit offenen Gewichten liefern wenigstens eine Basislinie für Inferenzkosten, machen Preise nachvollziehbarer und erhöhen die Vorhersehbarkeit. Selbst wenn Kimi K3 erscheint, kann man K2 weiter nutzen, wenn man will; genau dieser Wettbewerbsdruck und die Beständigkeit offener Modelle sind für Nutzer nützlich

    • Preise werden durch verfügbare Rechenressourcen und das Wettbewerbsumfeld auf das Niveau festgelegt, das der Markt trägt, und das lässt sich nur durch Tests verschiedener Preisstufen herausfinden. Während Anbieter unterschiedliche Tarife und Rabatte ausprobieren, schwankt gleichzeitig auch die Nachfrage
      Für jemanden, der an stabile, reife Märkte gewöhnt ist, mag das chaotisch wirken, aber Preisschwankungen in jungen Märkten sind ein typisches Merkmal
    • Wie die starke Gegenreaktion nach dem Ende von GPT-4o nach der Veröffentlichung von GPT-5 zeigte, hat jedes Modell eigene Eigenschaften, und für manche Anwendungsfälle kann ein älteres Modell besser sein als das neueste. Gerade weil die Labore offenbar nicht bereit sind, LTS-Releases anzubieten, ist die Fähigkeit, ältere Modelle weiter zu betreiben, besonders wichtig
    • Der Einfluss von FlashAttention war enorm
    • Wie verschreibungspflichtige Medikamente teuer und Generika günstig sind, könnte es sich um eine künstliche Preisaufblähung zur Refinanzierung der Forschung und Entwicklung handeln
    • Es ist fraglich, ob der Preis von GPT-4 selbst tatsächlich gesenkt wurde. Ältere Versionen der API sind immer noch sehr teuer; die Preise sanken nur, weil neue Modelle wie Turbo herauskamen
      Nur weil überall gpt-4 im Namen steht, heißt das nicht, dass intern dasselbe Modell verwendet wird; möglicherweise wurde vieles verändert, um die Betriebskosten zu senken

  • Um eine ähnliche Stellung wie Kubernetes zu erreichen, müssten AI-Modelle mit offengelegten Trainingsdaten von mehreren Unternehmen gemeinsam entwickelt werden. So wie Unternehmen gemeinsam zu Linux beitragen, könnten auch AI-Modelle geschäftlich notwendig sein, während eine Eigenentwicklung zu teuer ist; dann wäre es sinnvoll, ein offenes Modell zu nutzen und benötigte Funktionen beizusteuern

  • Auch OpenAI hat damals gemessen am damaligen Stand zwei gute Open-Source-Modelle veröffentlicht. Das 20B-Modell ist zu Hause hervorragend für Textprüfung oder Entwürfe von Bash-Skripten, aber das 120B-Modell ist auf Consumer-Hardware nur schwer mit realistischer Token-pro-Sekunde-Rate zu betreiben
    Dennoch wäre es gut, wenn OpenAI diese Modelle häufiger aktualisieren würde

    • gpt-oss-120b läuft auf Strix Halo mit über 30 Token pro Sekunde und auf einem 128GB MacBook Pro M5 Max mit über 75 Token pro Sekunde
      Der geistige Nachfolger scheint die Nemotron-3-Familie zu sein, aber auch sie ist schon etwas älter: https://research.nvidia.com/labs/nemotron/Nemotron-3/
      Es gibt auch das neuere Gemma 4: https://huggingface.co/collections/google/gemma-4
      Oder man kann Qwen3.6 wählen: https://huggingface.co/collections/Qwen/qwen36
    • Sam Altman schrieb zweieinhalb Jahre nach der Veröffentlichung von GPT-3 in einer E-Mail an den Vorstand, dass ein lokal ausführbares Modell auf GPT-3-Niveau die Veröffentlichung gleichwertiger Modelle durch andere eindämmen und die Finanzierung neuer Vorhaben erschweren könnte
      China veröffentlicht offene Modelle, um das technologische Niveau anzuheben, während OpenAI und Sam sie mit dem Ziel veröffentlichen, Wettbewerber zu unterdrücken
    • Die Modelle von OpenAI sind in Ordnung, waren bei ihrer Veröffentlichung aber nicht konkurrenzfähiger als Alternativen wie Qwen3 Coder A3B. Für ein Startup gibt es gute Gründe, eher Qwen3 zu wählen, das mehrfach Updates mit offenen Gewichten geliefert hat, statt das erste Modell von OpenAI, für das es lange keinen Nachfolger gab
      Für Startups, die Frontline-Modelle aus US-Laboren wollen, ist der aktuelle Release-Zyklus nicht tragfähig. Wenn die USA diesen Markt nicht vollständig abgeben wollen, müssen OpenAI und andere deutlich schneller werden

  • Bis China die Hardwareproduktion ausweitet, ist der Eigenbetrieb wirtschaftlich nicht sinnvoll, aber es ist positiv, dass offene Modelle Druck auf die Labore ausüben. Wenn Mobiltelefone am Ende Modelle ausführen können, die für die meisten Aufgaben gut genug sind, wird Apple wahrscheinlich gewinnen

    • Model-on-Chip kommt näher. GPUs sind universelle Rechengeräte und haben daher bei der Modellinferenz große Flaschenhälse, aber ein ins Chipdesign gegossenes Modell bringt enorme Leistungsvorteile, auch wenn es sich nicht wesentlich aktualisieren lässt
      Dafür sind nicht einmal modernste Halbleiterprozesse nötig, was die Kosten stark senken kann
    • Dann ist es für Hyperscaler und Oracle praktisch vorbei, daher freue ich mich auf diesen Tag
    • Gemessen an den Preisen vor der Blase kostete Strix Halo mit 128 GB 1.400 Dollar bei rund 200 W; vier davon zusammengeschaltet können ein Frontier-Modell mit 1 Billion Parametern ausführen: https://www.amd.com/en/developer/resources/technical-article...
      Rechnet man pro Node mit sieben Monaten Claude-Code-Abogebühren, amortisiert sich die Investition nach 28 Monaten; bei einer Abschreibung über fünf Jahre könnte man fast zum Break-even-Preis zwei Cluster bereitstellen und zwei gleichzeitige Request-Ströme verarbeiten
      Die Hardware der nächsten Generation ist bereits angekündigt und soll in etwa zwei Zyklen von Moores Gesetz erscheinen; der stabile Preis dürfte unter 1.400 Dollar in Werten von 2024 liegen und dabei schneller sein
      Wenn die Finanzblase platzt und die Labore aufhören, Hardware für Rechenzentren zu kaufen, wird lokale Inferenz billiger als ein Abo und sehr praktikabel werden. Dann bleibt die Frage, ob UNIX Surplus Inferenzserver wie nach dem Dotcom-Crash für Schleuderpreise verkauft oder ob der Strombedarf für den Heimgebrauch zu speziell ist
    • Für Aufgaben außerhalb des Codings sollten quantisierte Modelle, die über Nacht laufen, die meisten Anforderungen erfüllen
    • Ich betreibe Modelle auf dem Desktop zu Hause und nutze sie per Handy-App; je nach Modell und Einsatzzweck kommen 60 bis 140 Token pro Sekunde heraus. Das ist schnell genug, um Sprachdialoge aufrechtzuerhalten

  • Der Ansatz hat Wert, staatliche Nachfrage zu schaffen, indem portable und interoperable Systeme beschafft werden, statt dauerhaft an einen bestimmten API-Anbieter gebunden zu sein. Das könnten nicht nur die Bundesbehörden, sondern auch Bundesstaaten wie California, Colorado, Illinois und New York umsetzen

  • Mich interessiert, wie reale Setups für agentisches Coding mit Open-Weights-Modellen aussehen. Welche Ausführungstools und Modelle werden genutzt, was kostet das pro Monat und wie ist der Vergleich zu subventionsartigen Tarifen wie Claude Code und Pro?
    Ich möchte prüfen, ob die Aussage, offene Modelle seien günstig und effizient, in der Praxis wirklich stimmt

    • Früher habe ich maßgeschneiderte Ausführungstools genutzt, aber die Tools sind besser geworden und ich habe das Setup stark vereinfacht. Auch Basismodelle scheitern an schwierigen Teilen des Codes, daher nutze ich sie nur, wenn sich die Gelegenheit ergibt
      In Zed verwende ich drei lokale Modelle: Qwen 3.6 27B mit 128K Kontext auf einer RTX 3090 in llama.cpp mit etwa 50 Token pro Sekunde, Qwen 3.6 35B-A3B mit vollem Kontext in llama.cpp auf einer Titan V und zwei GTX 1080 Ti mit etwa 30 Token, und GPT-OSS 120B läuft langsam auf der CPU
      Ich nutze die parallelen Agenten in Zed, um zwischen Aufgaben zu wechseln, und wenn ein Modell nicht weiterkommt, stoppe ich es und korrigiere den Code. So bleibe ich konzentriert, schreibe wartbaren Code und erreiche etwa 80 % des Ziels
      Ich habe 30 Jahre Erfahrung und will stets verstehen, wie der Code funktioniert, daher bekomme ich die meisten kurzfristigen Vorteile, ohne den Fortschritt des Codes an Dritte auszulagern. Mit zwei GTX 5060 Ti 16GB sollte man mit allgemein verfügbaren Karten bei Qwen 3.6 35B-A3B etwa 100 Token pro Sekunde erreichen
      Aktuelle Cloud-Modelle sind dank Draft-Tokens usw. für allgemeines Coding hervorragend, verlieren aber bei domänenspezifischen Aufgaben an Leistung. Da Draft-Modelle nur 10 bis 20 % der Größe des Basismodells haben und selbst High-End-Blackwell-GPUs auf etwa 250 Token pro Sekunde begrenzt sind, braucht man für Skalierung auf Basisniveau MoE oder Draft-Modelle
      Für meine Nutzung sind das jedoch OOD-Probleme oder Probleme mit wenigen Beispielen im Trainingskorpus, daher sind solche Optimierungen nachteilig. Es ist eher ein Fall von Ich brauche einen Minivan statt eines Lamborghini
    • Ich nutze ein selbst gehostetes Tool mit einem Ryzen 5950X, 128 GB RAM, einer RTX 3060 12GB und qwen 3.6 35B unsloth 4 bit
      Bei 10K Kontext erhalte ich etwa 40 Token/s bei der Generierung und etwa 500 Token/s beim Prefill, bei 100K Kontext etwa 25 Token/s bei der Generierung und etwa 400 Token/s beim Prefill
      Oft lasse ich zuerst GPT oder Claude einen detaillierten Schritt-für-Schritt-Plan erstellen, dem Qwen dann folgt. Ob es wirtschaftlich ist, weiß ich nicht sicher, aber die Hardware ist schon da und dank Solaranlage auf dem Dach ist Strom kein großes Problem
      Der größte Vorteil ist, dass alles vollständig lokal abläuft und ich sicher sein kann, dass das Ausführungstool nichts hochlädt und keine Telemetrie sendet
    • Ich nutze Kimi K3 und OpenCode; bei fortlaufender Nutzung im API-Verbrauchsmodell verbrauchen ein bis zwei Sessions pro Stunde etwa 10 Millionen Token und rund 5 Dollar
      Ich mag die Beschränkungen und die Betriebsweise von Tarifmodellen nicht, daher habe ich es nicht mit Abos verglichen. Es ist merklich langsamer als Fable, Opus und Gemini, aber deutlich günstiger als deren API-Preise
    • Ich nutze GLM-5.2 im 20-Dollar-pro-Monat-Tarif von Ollama Cloud. Mit demselben Tarif habe ich mehrere API-Schlüssel für einen OpenWebUI-Server sowie OpenCode- und Pi-Entwicklungssessions und stoße normalerweise selbst bei 2 bis 4 gleichzeitigen Sessions nicht ans Limit
      Bei der Arbeit wird Claude bereitgestellt, und ich habe Berichte gesehen, nach denen die Nutzung von Opus 75 Dollar pro Arbeitsstunde kostet
    • Ich habe GLM 5.2 awq4 in OpenCode genutzt; es war besser als das im Unternehmen bevorzugte Sonnet 4.8, etwas schlechter als Opus 4.8 und für die meisten Aufgaben unseres Entwicklungsteams ausreichend. An Sonnet 5 kommt es nicht heran, aber dafür gehen einem die Token nicht aus
      Dafür braucht der Betrieb vier H200, und in dieser Konfiguration können nur etwa drei Nutzer den Kontext cachen
      Ich hoffe, dass Blackwell-Hardware eintrifft und die Gewichte von Kimi 3 tatsächlich veröffentlicht werden. Ab dem Punkt, an dem Entwickler einen erheblichen Teil ihres Gehalts für Token ausgeben, ist es sogar günstiger, absurd teure DGX-Server selbst zu kaufen, ins Rack zu stellen und zu betreiben

  • Die Interpretation, dass die chinesische Regierung das Training und die Veröffentlichung von Spitzenmodellen unterstützt, um Wettbewerbsdruck auf OpenAI und Anthropic im öffentlichen Wettbewerb auszuüben, ist kaum glaubhaft. Es wirkt eher wie ein Mittel, modernste Modelle per Reinforcement Learning so auszurichten, dass sie zur von der chinesischen Regierung genehmigten Art der Informationsverbreitung passen
    Wenn ich einem intransparenten System vertrauen müsste, das Fragen beantwortet, würde ich eher ein Modell eines US-amerikanischen, gewinnorientierten börsennotierten Unternehmens wählen, das unter Marktdruck steht, als ein von der chinesischen Regierung genehmigtes und massiv subventioniertes Modell

    • Das passt zu Chinas Strategie, wie in anderen Märkten Produkte zu dumpen, um Wettbewerber zu verdrängen. Wenn bei jedem Token hohe Verluste entstehen, könnte ein Gegner den Verbrauch auch böswillig steigern, um die Kosten hochzutreiben
      Beim Dumping physischer Güter ist die Nachfrage endlich und die Umweltkosten sind hoch, aber die Nachfrage nach Software ist praktisch unbegrenzt, und die Umweltkosten sind im Verhältnis zu den Produktionskosten geringer, sodass eine Umkehrung von AI-Dumping möglich sein könnte
    • Ich frage mich, welche Werkzeuge es gibt, um der staatsgestützten Verzerrung chinesischer Modelle zu begegnen. Wenn Einzelne diese Verzerrung leicht korrigieren können, wirkt das nicht wie eine besonders kluge Strategie

  • Es wird fast wie ein Naturgesetz angenommen, dass China auch künftig Gewichte von Frontier-Modellen weiterhin auf Hugging Face hochladen wird. Doch Chinas Mythos-Moment rückt in wenigen Monaten näher, und verschiedene Berichte deuten darauf hin, dass China ebenfalls ähnlich reagieren dürfte
    Es ist schwer zu glauben, dass China einen Mythos-Nachfolger auf Hugging Face hochladen und allen erlauben würde, die Sicherheitsvorkehrungen zu entfernen. Die Lage hat sich weder wie von OpenAI und Anthropic erwartet noch wie von China erwartet entwickelt