GLM 5.2 und der bevorstehende Margeneinbruch bei AI-Inferenz

 (martinalderson.com)
1 Punkte von GN⁺ 4 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • GLM 5.2 zeigt, dass Modelle mit offenen Gewichten (open weights) bei Agenten-Aufgaben nahe an das Niveau von Opus und GPT herankommen und damit die hohen Inferenzmargen geschlossener Frontier-Modelle unter Druck setzen können
  • Der Knackpunkt bei AI-Kosten sind weniger die einmaligen Trainingskosten als die mit der Nachfrage wachsenden Inferenzkosten; in API-Preisen von rund $25/MTok sind vermutlich hohe Bruttomargen enthalten
  • Die Qualität ist kaum von Opus zu unterscheiden, doch weil das Modell viel „nachdenkt“, steigen Geschwindigkeit und Token-Verbrauch zum Nachteil; fehlende Vision-Unterstützung und schwache Websuche bleiben Schwächen
  • Dank der OpenAI- und Anthropic-kompatiblen Endpoints von Z.ai und Fireworks lässt sich in Claude Code und Codex schon durch Austausch von base URL und API key experimentieren
  • Der Preis von GLM 5.2 liegt bei etwa $4.40/MTok und damit unter 20 % des Opus-Endkundenpreises sowie bei rund 15 % von GPT5.5; durch Optimierungen des Serving-Stacks und AMD-Nutzung könnte er weiter sinken

Kostenstruktur: Inferenzkosten bestimmen die Marge stärker als Trainingskosten

  • Zur Zeit von DeepSeek R1 reagierte der Markt auf Berichte, wonach das Training des V3-Modells weniger als 6 Mio. Dollar gekostet habe, und interpretierte dies so, als seien große Infrastrukturinvestitionen für Modelltraining vorbei; das war eher ein Beispiel dafür, die Kostenstruktur von AI falsch zu lesen
  • Trainingskosten erfordern viel Kapital, haben aber grundsätzlich stark den Charakter vorab anfallender Fixkosten
    • Frontier-Labs trainieren weiter neue Modelle, um wettbewerbsfähig zu bleiben; sie sind also keine vollständig einmaligen Kosten
    • Dennoch unterscheiden sie sich ihrem Wesen nach von Inferenzkosten, die proportional zur Kundennutzung steigen
  • Inferenzkosten wachsen mit der Nachfrage und erzeugen die tatsächlichen Grenzkosten
  • Wenn Anthropic und OpenAI $25/MTok für Inferenz berechnen, gibt es Berechnungen, wonach dies gegenüber den Compute-Kosten einer Bruttomarge von etwa 90 % entsprechen könnte
    • Durchgesickerte Finanzdaten von OpenAI deuten auf eine Bruttomarge von rund 60 % bezogen auf den Umsatz hin; darin könnten jedoch Support, Zahlungsabwicklung und andere Servicekosten enthalten sein
  • Das Geschäftsmodell von Frontier-AI-Labs besteht darin, Modelle mit teurem Personal und Compute zu trainieren und diese Kosten anschließend über große Mengen hochprofitabler Inferenz zu amortisieren

Qualität und Nutzungserlebnis von GLM 5.2

  • GLM 5.2 von Z.ai kann als erstes wirkliches Open-Weights-Konkurrenzmodell zu Opus und GPT betrachtet werden
    • Der zum Zeitpunkt der Erstellung aktuelle GPT wird als GPT 5.5 bezeichnet
    • Es wird auch darauf hingewiesen, dass künftige Modelle dieses Niveau übertreffen könnten
  • In der praktischen Nutzung war die Qualität so hoch, dass sie vom im Alltag verwendeten Opus kaum zu unterscheiden war
  • Der größte Nachteil ist die gefühlt langsame Geschwindigkeit
    • Bei nicht-interaktiven Agenten-Aufgaben mit geringer Zeitsensitivität, etwa PR-Reviews im Hintergrund, ist das kein großes Problem
    • Bei interaktiver Nutzung ist es etwas zu langsam, um die Aufmerksamkeit gut zu halten
    • Die Langsamkeit entsteht vor allem dadurch, dass das Modell viel „nachdenkt“, nicht durch das Serving selbst
    • Fireworks’ GLM 5.2 wurde zwar gemessen an tokens/sec schnell veröffentlicht, die tatsächliche Geschwindigkeit schwankte jedoch etwas
  • Weil das Modell mehr nachdenkt, steigt der Token-Verbrauch, was einen Teil der Kosteneffizienz wieder reduziert

Schwächen bei Vision und Websuche

  • GLM 5.2 bietet keine Vision-Unterstützung
    • Seit den hochauflösenden Vision-Funktionen von Opus 4.7 werden bildbasierte PDFs, Screenshots und Designdateien häufig gelesen; deshalb fällt diese Schwäche deutlich ins Gewicht
    • Gegenüber Frontier-Labs bleibt dies ein wichtiger Nachteil
  • Auch das Fehlen oder die geringe Qualität der Websuche schränkt Agenten-Aufgaben ein
    • Fast jede Agenten-Session führt viele Websuchen aus, um Dinge nachzuschlagen
    • Z.ai bietet eine alternative MCP für Websuche an, diese war jedoch langsam und von geringer Qualität
    • Fireworks bietet keine Websuche an
  • Als provisorischer Workaround kann man den Agenten anweisen, eine CLI-basierte Websuche wie ddgr zu verwenden
  • Eine gute Third-Party-Websuche-API könnte eine große Lücke schließen, die Anbieter von Open-Weights-Modellen bisher noch nicht füllen
  • Websuche-Fähigkeiten sind für viele Agenten-Aufgaben essenziell; mit Akteuren, die Suchindizes erstellen, sowie passenden Partnerschaften und Integrationsarbeit könnte sich dieses Problem im Lauf der Zeit lösen

Open-Weights-Modelle mit niedrigen Wechselkosten

  • Der für Frontier-Labs bedrohlichere Punkt ist, dass die Migration zu Open-Weights-Modellen wenig aufwendig ist
  • Z.ai und Fireworks stellen beide OpenAI-kompatible und Anthropic-kompatible Endpoints bereit
    • In Claude Code und Codex wird die base URL auf den Inferenzanbieter umgestellt
    • Der API key wird gesetzt
    • Als zu verwendendes Modell wird GLM 5.2 angegeben
  • Nachdem Anthropic angekündigt und dann zurückgenommen hatte, für die nicht-interaktive Agenten-Nutzung von claude -p API-Gebühren zu erheben, lassen sich viele Use Cases durch GLM ersetzen
  • Auch bei interaktiver Nutzung war innerhalb von Claude Code, abgesehen von fehlender Vision und der geringeren Geschwindigkeit, kaum zu bemerken, dass kein Opus-Modell verwendet wurde
  • Dieser Wechsel ist keine Migration, die wie bei Microsoft- oder Salesforce-artigem Lock-in über Jahre geplant werden muss
    • Die Wechselkosten sind niedrig
    • Sie können niedriger sein als die Kosten, ständig den Policy- und Vertragsänderungen der Frontier-Labs zu folgen
    • Es ist möglich, dass Claude Code die Nutzung von Drittanbietern künftig erschwert
    • Es gibt viele gute Open-Source-Alternativen, darunter Codex und OpenCode

Unternehmenseinsatz: Datenschutz und Deployment-Optionen

  • Eine häufige Sorge in Unternehmen betrifft Datenschutz und Sicherheit
  • Die offizielle API und die Abos von Z.ai dürften wegen schwacher Vertragsbedingungen und enger Verbindungen zum chinesischen Festland für Unternehmen kaum infrage kommen
  • Bei Open-Weights-Modellen kann man andere Anbieter wählen
    • Am Markt gibt es viele Anbieter mit geeigneteren Vertragsbedingungen
    • Bei Bedarf ist auch On-Premises-Hosting möglich
  • On-Premises-Deployments ermöglichen es, auch sensiblere Daten, die zuvor an keinen Dritten gesendet werden konnten, in Agenten-Workflows auf Opus-Niveau zu verwenden

Preise und Margendruck

  • Der aktuelle Preis von GLM 5.2 liegt bei etwa $4.40/MTok
    • Unter 20 % des Opus-Endkundenpreises
    • Rund 15 % der Kosten von GPT5.5
  • Da GLM 5.2 für dieselbe Aufgabe mehr Tokens verbraucht, ist das kein vollständig äquivalenter apples-to-apples-Vergleich
  • Dennoch dürfte es in nahezu allen Workflows vergleichbare Qualität für mehr als 50 % weniger Kosten liefern
  • Z.ai bietet ein „coding plan“-Abo an, ähnlich den Plänen von Anthropic und OpenAI, und wirbt mit höheren Nutzungslimits
    • Allerdings können lockere Bedingungen zu Training und Datenaufbewahrung den Verkauf für professionelle Nutzung erschweren
    • Falls Frontier-Labs die Preise stark erhöhen, könnte es für budgetbewusste Nutzer zu einer glaubwürdigen Option werden
  • Die Kosten von GLM 5.2 dürften in den kommenden Monaten durch Optimierungen des Serving-Stacks deutlich sinken
    • Wafer beschreibt den Betrieb von GLM 5.2 auf AMD-Hardware
    • Dort wird angegeben, dass Inferenz auf AMD gegenüber Nvidia Blackwell 2,75-mal niedrigere Kosten pro Token ermögliche
  • Fireworks stellte kostenlose Credits für GLM-Experimente bereit

Verwandte Beiträge

1 Kommentare

 
GN⁺ 4 시간 전
Meinungen auf Hacker News

  • Ich bin nicht sicher, ob die Kosten an sich wirklich so wichtig sind.

    1. Seit dem Aufkommen der Cloud sind die Computing-Kosten stark gesunken, aber die Hyperscaler erzielen weiterhin hohe Margen.
    2. Es gibt viele Open-Source-Office-Suiten, doch sie konnten nicht mit der Allgegenwart von G Suite oder Office konkurrieren; bei GitHub und Slack ist es ähnlich.
    3. Für Windows und macOS gibt es schon lange kostenlose Alternativen, trotzdem dominieren sie den Desktop zu Hause.
    4. Auch Infrastrukturkomponenten wie Redis und Elastic Search, die früher Open Source waren, haben Apache-nahe Alternativen, erzielen aber weiterhin gute Margen.
      Ich verstehe die Logik eines Margeneinbruchs, sehe aber kaum historische Parallelen. Unternehmen werden wohl viel Geld für Servicegarantien, Integration und eine verklagbare Gegenpartei zahlen; am Ende scheint sich „Niemand wurde je gefeuert, weil er IBM gekauft hat“ zu wiederholen.
    • Ich finde, diese Analogie ist nicht ganz so eindeutig. Erstens haben LLMs Text als Ein- und Ausgabe, daher gibt es kaum Lock-in-Effekte und man kann leicht wechseln. Zweitens unterschätzt du meiner Ansicht nach, wie hoch die Rechnungen sind, die Unternehmen bezahlen; Finanzabteilungen bekommen bereits jetzt Anweisungen, Ausgaben zu drosseln, obwohl noch stark subventioniert wird.
      Drittens scheint die US-Strategie darauf hinauszulaufen, den Zugang zu leistungsfähigen Modellen künstlich zu beschränken. Wenn China das aktuelle Tempo hält, wird es binnen sechs Monaten ein Modell auf Fable-Niveau veröffentlichen und es nicht einsperren. Wenn ein günstigeres und besseres Modell offen verfügbar ist, ist der Wechselanreiz enorm; und wenn China Marktanteile gewinnt, hat es deutlich weniger Anreiz, die Preise anzuheben. David Sacks und die KI-Strategie der US-Regierung wirken extrem kurzsichtig und dürften einen Bumerang-Effekt erleben.
    • Wenn man an historische Parallelen denkt, spielt Survivorship Bias eine große Rolle. Wenn Margen einbrechen und eine Branche durch Wettbewerb zur Commodity wird, existieren die damaligen großen monopolartigen Namen eben nicht mehr.
      In den 1980ern brachen die Margen bei Speicherchips ein, und Intel gab das Speicherchip-Geschäft vollständig auf; damals war Intel eher als Speicherchip-Unternehmen bekannt denn als Mikroprozessorfirma. Auch die Margen bei High-End-Workstations kollabierten angesichts billiger IBM-PC-kompatibler Rechner und der Explosion von MS-Windows-Software; das wurde zu einem direkten Grund für das Verschwinden von SGI, Sun, Symbolics, Lucid, LMI und anderen.
      Proprietäre UNIX-Varianten wie HP-UX, IRIX, AIX und SCO Unix sind praktisch verschwunden und wurden durch günstigere proprietäre Betriebssysteme wie Windows und MacOS oder durch die Open-Source-Nachfahren Linux und BSD ersetzt. Auch Anbieter kommerzieller Datenbanken wie Oracle, dBase, Sybase, FoxPro sowie Microsofts SQL Server und Access gerieten durch PostGres, MySQL und SQLite unter starken Margendruck. Oracle überlebte dank einer riesigen Installationsbasis und Rechtsabteilung, Microsoft, weil es aus den Monopolen bei OS und Office quersubventionieren konnte; dBase, Sybase und FoxPro verschwanden jedoch.
    • Anders als in diesen Beispielen ist ein LLM-Wechsel billig und einfach. Wenn alle drei Monate ein neues Modell erscheint, fangen die Leute sofort an, es zu nutzen.
      Die Nutzererfahrung ist bei verschiedenen Anbietern gleich: Man schickt einen Prompt und bekommt eine Antwort zurück. In den anderen Fällen musste man den Verlust von Support oder eine schwierige Umstellungsphase hinnehmen; bei LLMs gab es von Anfang an kaum Support, und der Wechsel besteht im Wesentlichen darin, das aktuelle Harness so zu aktualisieren, dass es ein anderes Modell kennt.
      Ein passenderer Vergleich ist vielleicht der Aufstieg von AMD. Auch wenn AMD den Markt nicht dominiert hat, hat es Intel deutlich zugesetzt; entscheidend war, dass AMD x86 ziemlich nah an Intel x86 und kompatibel damit war, aber deutlich günstiger.
    • Diese Anbieter brauchen nicht einfach nur gute Margen, sondern müssen innerhalb weniger Jahre fast eine Billion Dollar wieder hereinholen. Der Vergleich mit Elastic Search oder Redis passt daher nicht besonders gut.
      Hyperscaler funktionieren, weil sie gegenüber kostenlosen Alternativen echten Mehrwert bieten und die Kosten eines Anbieterwechsels enorm sind. Auch bei Windows und macOS sind die Wechselkosten sehr hoch, und in vielen Fällen ist ein Wechsel gar nicht möglich. Bei Office sind die Wechselkosten wegen Kompatibilitätsproblemen und Umschulung der Mitarbeiter ebenfalls hoch.
      Am Ende ist der Kernpunkt der Lock-in-Effekt, und den scheint es bei LLMs bislang nicht zu geben. Deshalb passen die vorherigen Argumente meiner Ansicht nach hier nicht gut.
    • Dass Open-Source-Office-Suiten nicht mit der Allgegenwart von G Suite oder Office konkurrieren können, liegt meiner Meinung nach daran, dass Kollaboration schwer zu lösen ist. Ohne Kollaboration bieten G Suite/Office kaum etwas.
      Mac OS ist auch kostenlos. Kostenlos im Sinne von Freibier.
      Es stimmt, dass Unternehmen viel Geld für Servicegarantien, Integration und eine verklagbare Gegenpartei zahlen; im Großen und Ganzen sind US-Unternehmen aber enorm wohlhabend und daher wohl kein gutes Beispiel für rationale Ausgabenentscheider.

  • Ich habe letzten Monat mein Claude-Pro-Abo gekündigt und für diese 20 Dollar Openrouter-Credits gekauft. Die meisten Fragen zur Wissensrecherche lassen sich mit Gemma4 beantworten, für einfache Codebearbeitung reicht Qwen3.6 27b, und selbst wirklich schwierige Aufgaben hält GLM5.2 aus.
    Ich nutze KI nicht einmal besonders viel; mit API-Credits und dem jeweils kleinstmöglichen Modell je nach Aufgabenkomplexität spare ich am Ende sogar Geld.

  • Zustimmung aus der entgegengesetzten Richtung. AI saugt meine Arbeit als Senior-Systemsoftware-Engineer für C/C++ immer weiter auf, und ich habe über mehrere Monate hinweg nur ein paar Hundert Dollar für gpt-5.5/5.6 und Codex ausgegeben.
    Ich weiß nicht, was die Leute machen, dass sie so viele Token verbrennen, aber für mich ist es lächerlich billig, und ich entdecke jeden Tag neue Funktionen. Ob die Kosten steigen oder fallen, ist mir egal, weil es im Verhältnis zu dem, was ich bekomme, viel zu billig ist.

    • Weil wir Endkundenpreise zahlen, also Abogebühren. Dieselben Token kosten bei Enterprise-Abrechnung Tausende Dollar.
    • Agentische Workflows verbrauchen viel. Gemeint sind automatisierte Agent-Loops, die sich kontinuierlich auf ein Ziel zubewegen.
      Wenn man ein LLM als persönlichen Arbeitsassistenten nutzt, verbraucht man nicht so viele Token. Lässt man aber mehrere Agents unabhängig arbeiten und gegenseitig ihre Arbeit prüfen, brennt das Budget wirklich schnell weg.
    • Wegen Unwissen, schlechter Code-Hygiene und unbeholfener Prompts. Aus der Perspektive von jemandem, der kaum programmieren kann: In der Zeit vor Agents, als die Nutzungsgrenzen in der Gemini IDE kaum vorhanden waren, hatte ich alte Projekte, die ich per Vibe Coding gebaut hatte; Dateien blähten sich auf Tausende Zeilen und mehr auf, und ein Bug-Backlog sammelte sich an.
      Dumme Modelle begannen an diesem Punkt zusammenzubrechen, und weil das Projekt für meine Bedürfnisse halbwegs brauchbar war, hörte ich auf. Später kamen Agent-Coding und Modelle, die klug genug waren, die Probleme zu beheben, aber die Codebase war so chaotisch, dass sie extrem ineffizient damit umgingen. Schon ein paar Prompts konnten mein 5-Stunden-Kontingent aufbrauchen.
      Nachdem ich ein paar Tage investiert hatte, um eine ordentliche agent.md zu erstellen und die Codebase zu refaktorieren, verbraucht sie jetzt nur noch nach und nach Token. Ich vermute, dass noch viele Leute in genau diesem Boot sitzen. Viele von uns kennen Best Practices überhaupt nicht und wissen auch nicht, wie sie einem Agent sagen sollen, wie er sich verhalten soll.
      Rückblickend hätte ich ein paar Tage die Grundlagen lernen sollen, aber das Problem ist, dass man nicht weiß, was man nicht weiß. Ich kann mir kaum vorstellen, dass Unternehmen neue Nutzer beim Onboarding so prompten, dass sich Agents rücksichtsvoll verhalten; für sie ist es vorteilhaft, Leute wie mich süchtig zu machen und möglichst viele Token verbrauchen zu lassen. Ich habe ein paar Hundert Dollar extra für unnötige Abos und Tiers ausgegeben, aber damals war das im Vergleich zum Produktivitätssprung von 0 auf 1 wenig Geld.
    • Gleiche Erfahrung. Ich verstehe wirklich nicht, wie Leute die Token-Mengen verbrennen, die sie behaupten.
    • Ich habe grob die Erstellung von 500.000 Zeilen Code angeleitet.

  • Da das Modell selbst keine native Vision-Funktion hat, gibt es einen Vision-MCP, der das ausgleicht: https://docs.z.ai/devpack/mcp/vision-mcp-server
    Websuche war ebenfalls größtenteils okay. Wenn man das ZCode-Harness nutzt, ist das Coding-Plan-Kontingent größer: https://zcode.z.ai/en
    Ich habe es kurz ausprobiert; es liegt ungefähr zwischen OpenCode Desktop und Claude Desktop. OpenCode Desktop ist noch neu, aber in Ordnung, und Claude Desktop ist in den neueren Versionen gut.
    Als Modell ist GLM 5.2 im maximalen Thinking-Modus insgesamt zufriedenstellend, etwa zwischen Sonnet 5 und Opus 4.8, und klar besser als DeepSeek V4 Pro.
    Preislich sieht das Abo nicht so gut aus wie erhofft. Beim Pro-Plan für 50 Dollar habe ich an einem Tag etwa 60 % des Wochenlimits verbraucht, und das auch nur, weil pro 5-Stunden-Limit nur 20 % nutzbar waren; sonst wären es 80 bis 100 % gewesen. Ich habe nichts besonders Verrücktes gemacht, nur mit etwa 96 % Cache-Hit-Rate und maximal drei parallelen Code-Review-Subagents längere Aufgaben in zwei Projekten parallel laufen lassen.
    Mit dem Max-Abo für 100 Dollar käme man die ganze Woche durch, aber Anthropic schafft das für dasselbe Geld auch, und OpenAI vermutlich ebenfalls. Off-Peak-Zeiten sind besser, aber ich kann nicht von 9 bis 13 Uhr Ortszeit Däumchen drehen.
    Echte Einsparungen dürfte es erst geben, wenn man den Max-Plan jährlich bezahlt, aber das ist schwerer zu verkaufen.

  • Wichtig ist, dass diese Unternehmen sich nicht absprechen und die Preise fixieren können. Dass China als Wettbewerber dabei ist, garantiert das.
    Der einfachste Weg, die Token-Ökonomie zu verstehen, ist immer noch grundlegende Mikroökonomie. Wie könnte das kein Wettbewerbsmarkt sein, also ein Markt, in dem die Gewinne gegen null gehen?
    Alles, was A oder O tun, um höhere Margen zu erzielen, kann ein Wettbewerber kopieren oder günstiger anbieten, und Preissenkungen haben zusätzlich den Vorteil, dass man Trainingsdaten sammeln kann. Was außer Absprachen oder Preisfixierung könnte verhindern, dass die Bruttomarge von Token gegen null geht?

    • Du übersiehst etwas: Das, was das verhindern wird, ist industriepolitische Steuerung durch die Bundesregierung.
    • Auch wenn man die Bedingungen innerhalb eines einzelnen Marktes betrachtet, ist das weiterhin Mikroökonomie. Ich stimme zu, aber es ist schwer zu erkennen, wo Unternehmen Marktmacht herbekommen sollen, deshalb dürften die Gewinne nahe null gehen.
      Allerdings dachte ich bei GPUs dasselbe, und Nvidia scheint im Datacenter immer noch keinen ernsthaften Wettbewerber zu haben.

  • Meine Lieblingsanalogie ist, dass AI so billig wie Strom werden wird.
    Weißt du beim Stromverbrauch, wer ihn liefert und aus welchem Kraftwerk er kommt? Wahrscheinlich nicht. Strom ist eine Commodity, weitgehend etabliert, und es gibt viele Energieressourcen. Es gibt alternative Energien und Kohleminen. Sie alle konkurrieren in Echtzeit in den laufenden Energieangebots- und -nachfragegeschäften. Dabei kann man an OpenRouter denken.
    Am Ende gewinnen die Verbraucher durch Überfluss.
    Das größte Beispiel für die Fülle billiger und unbegrenzter Intelligenz wird wohl nicht GLM5.2 sein, sondern DeepSeek V4 Pro max mit 0,435 Dollar pro 1 Million Input-Token und 0,87 Dollar pro 1 Million Output-Token.

  • Ich verstehe das Argument nicht, dass „Training zwar kapitalintensiv ist, aber feste Vorabkosten darstellt; man gibt Hunderte Millionen Dollar aus, trainiert ein Modell, und dann ist es erledigt“
    Wenn es Wettbewerber gibt und die Leute ständig mehr erwarten, sodass man immer neue Modelle trainieren muss, und wenn die Trainingskosten im Verhältnis zur Verbesserungsrate offenbar immer weiter steigen, ist das dann nicht ein laufender Kostenblock, den man ständig tragen muss? Die Fußnote deutet diesen Punkt zwar an, scheint ihn am Ende aber eher abzutun
    Ich frage mich auch, ob es inkrementelle Trainingskosten gibt, um ein Modell weiterhin relevant zu halten. Oder kennt ein Modell nur Ereignisse bis zu dem Tag, an dem es trainiert wurde?

    • Diese Modelle verlassen sich auf Wissen, das in den Gewichten eingebettet ist. Wenn eine neue Library erscheint, eine neue Linux-Version herauskommt oder ein neues Protokoll ein altes ersetzt, möchte man, dass ein LLM das weiß
      Natürlich kann man es ins Kontextfenster packen, aber das bringt eigene Probleme mit sich
      Solange ein paar vielversprechend wirkende neue Forschungsarbeiten keinen neuen Ansatz liefern, werden die Trainingskosten weiter ein Loch bleiben, durch das Geld abfließt
      Außerdem: Wenn man mit dem Training aufhört, veröffentlicht sechs Monate später jemand ein Open-Weights-Modell, und dann konkurriert man darum, dasselbe Produkt zum niedrigsten Preis anzubieten
      Man darf auch nicht vergessen, dass dieses Geschäft nicht bloß ein technisches Tool ist, sondern zwingend in den globalen Arbeitsmarkt eindringen muss. Um eine Bewertung von 1 Billion Dollar zu rechtfertigen, müssen die Modelle noch viel besser werden

  • Es heißt „der am wenigsten verstandene bevorstehende Wandel in der AI-Ökonomie“, und dann geht es um etwas, das täglich in den AI-News steht. Es fühlt sich an wie: Habt ihr noch nie gehört, dass Open-Source-Modelle billiger und besser werden?
    Erstens ist GLM5.2 nach keinem Maßstab so gut wie Opus
    Zweitens stimmt es, dass Open-Source-Modelle am Ende die Margen unter Druck setzen werden, und das weiß jeder. Aber geht man wirklich davon aus, dass das heutige AI-Geschäftsmodell morgen unverändert bleibt?

    • GLM-5.2 ist nicht so gut wie Opus, sondern besser. Man kann GLM-5.2 enthemmen und für Projekte einsetzen, die Opus ablehnt
    • Es hängt davon ab, was man macht. Bei komplexen oder schlecht definierten Aufgaben ist Opus wohl richtig, aber bei relativ einfachen oder sehr gut definierten Aufgaben ist GLM-5.2 genauso gut und meistens deutlich schneller
      Es ist auch neutraler in der Persönlichkeit und weniger konfrontativ als Opus. Opus wirkt immer wie „um dem zu widersprechen ...“, während GLM eher nach „Ja, verstanden!“ klingt. Ich nutze beide und finde beide gut, aber wenn Opus morgen verschwinden würde, würde ich nicht weinen. Mit GLM-5.2 allein könnte ich mich schnell arrangieren

  • Es heißt, die Websuche von GLM 5.2 sei schlecht, aber ich sehe das als Verantwortung des Harness
    Ich habe auf einem VPS selbst eine SearXNG-Instanz aufgesetzt und sie zusammen mit einem webfetch-Tool in Pi integriert; GLM 5.2 hat bisher zuverlässig Dinge gefunden. Als ich nach den neuesten Nachrichten einer österreichischen Onlinezeitung fragte, die wegen aggressiver Werbe-Overlays schwer zu parsen ist, scheiterten sowohl die Standard-Chat-Apps von ChatGPT als auch Claude. GLM 5.2 in Pi war clever genug, den RSS-Feed zu durchsuchen, und lieferte eine detaillierte Übersicht
    Dass Vision fehlt, ist wirklich schade. Ich habe in Pi einen Workaround implementiert, und der ist halbwegs okay, aber nicht besonders gut, und die gesamte Erfahrung fühlt sich unbeholfen an

  • Das wirkt wie ein ziemlich sinnloser Text, der nur auf Output-Tokens schaut
    Beim agentischen Coding machen gecachte Input-Tokens 90 % der API-„Kosten“ aus. Dafür braucht man keine GPU-Rechenleistung, und DeepSeek hat gezeigt, dass man es mit MLA/CSA/HCA und viel Disk 50- bis 100-mal günstiger verarbeiten kann. Das wird die Margen kollabieren lassen

    • Versuchen die US-amerikanischen AI-Labore nicht verzweifelt, andere Märkte als agentisches Coding zu finden?
    • Sind MLA/CSA/HCA nicht allesamt verlustbehaftete Kompressionsverfahren? Ich frage mich, ob das nicht einer der Gründe ist, warum Leute bei größeren Kontextgrößen über Qualitätsverluste klagen
    • Der derzeitige Top-Kommentar auf https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse benennt gecachte Input-Tokens genau, kommt aber zum gegenteiligen Schluss
      Sinngemäß: „Für eine Gebühr von 100 Dollar im Monat bekommt man API-Nutzung im Wert von 3600 Dollar. Das liegt vermutlich daran, dass Anthropic clevere Wege bei Model-Routing und Input-Caching gefunden hat, die Nutzung mit Investorengeldern subventioniert und auch operative Margenverluste hinnehmen kann“
      Meine Interpretation ist, dass genau das das Bild ist, von dem Anthropic möchte, dass alle daran glauben. In Wirklichkeit bestehen 90 % dieser 3600 Dollar aus gecachten Input-Tokens, und wie DeepSeek gezeigt hat, kann man sie nahezu kostenlos machen