Mit 500 Dollar feinabgestimmtes 9B-Open-Model übertrifft Frontier-Modelle bei der Katalogprüfung

• Ein für die E-Commerce-Katalogprüfung bestimmtes 9B-Open-Source-Modell wurde für rund 500 Dollar per Reinforcement Learning feinabgestimmt und erzielte damit höhere Werte als jede Frontier-Model-Konfiguration mit denselben Tools, Bildern und Bewertern.
• In einem aus 177.767 Prüfepsioden aufgebauten digitalen Zwilling wurden Produktklassifizierung, Markenprüfung, Attributextraktion und Policy-Entscheidungen wiederholt, sodass die unternehmensspezifische Taxonomie und Entscheidungskriterien in die Modellgewichte einlernt wurden.
• Das mit GRPO trainierte Modell erreichte 87,3 % des maximal erreichbaren Scores und lag damit relativ 13,5 % über der besten Frontier-Konfiguration mit 76,9 % sowie 36 % über dem untrainierten Basismodell mit 64,2 %.
• Die Kosten liegen bei etwa 0,50 Dollar pro 1.000 Produkte und sind damit 40-mal niedriger als bei der günstigsten Frontier-Konfiguration und rund 340-mal niedriger als bei der teuersten; bei 40 Millionen Fällen pro Tag ergibt das jährlich etwa 7 Millionen statt 500 Millionen Dollar.
• Der Ansatz eignet sich für massenhafte, wiederholbare Aufgaben, deren Ergebnisse sich mit Regeln, Tests und Bewertungsrastern verifizieren lassen; veränderliche Fakten bleiben in Suchwerkzeugen, während die unternehmensspezifische Entscheidungslogik ins Modell gelernt wird.

---

Betriebsmodelle, die über den Erfolg von AI-Investitionen entscheiden

• Seit dem Start von ChatGPT hat sich der AI-Einsatz von risikoarmen Aufgaben wie Dokumentzusammenfassungen und E-Mail-Entwürfen hin zu Softwareentwicklung, Content-Erstellung und dem Konzept eines Unternehmensgehirns (company brain) erweitert, das internes Wissen, Daten und Tools verbindet.
• Laut Ramp-Kundendaten wuchsen die Umsätze der Unternehmen im obersten Viertel der AI-Ausgaben von November 2022 bis Dezember 2025 auf mehr als das Doppelte, während Unternehmen ohne AI-Ausgaben im selben Zeitraum nur etwa 15 % zulegten.
• In erfolgreichen Organisationen wiederholen sich folgende Betriebsweisen:
  • Neugestaltung von Workflows: Es reicht nicht, ein Modell in bestehende Abläufe einzufügen; Freigaben, Prüfungen, Übergaben und menschliche Eingriffspunkte müssen neu entworfen werden.
    • In McKinseys Umfrage 2025 zu Organisationen mit generativer AI zeigte die Neugestaltung von Workflows die höchste Korrelation mit dem EBIT-Effekt, dennoch hatten nur 21 % der Organisationen überhaupt einen Workflow neu gestaltet.
  • Experimente fördern: Da sich Modelle, Tools und Best Practices schnell ändern, sollten nicht nur erfolgreiche Launches belohnt werden, sondern auch Experimente und das Teilen von Fehlschlägen.
  • Maßgeschneiderter Arbeitskontext: Datenzugriff, anfragebezogene Zugriffskontrolle, das Abrufen relevanter Belege und das Management von Kontextfenstern, deren Nutzung mit wachsender Länge ungleichmäßiger wird, werden zu eigenen Engineering-Aufgaben.
  • Nutzung und Wirkung messen: Ohne bewertete Evaluierungen auf den eigenen Daten ist es schwer, Leistung, Entscheidungskosten und Effizienzgewinne nachzuweisen; selbstberichtete Zeitersparnisse können ebenfalls ungenau sein.

Bereitstellungsmodell für den „Besitz von Intelligenz“

• Eine wiederkehrende Konfiguration ist Reinforcement Learning mit Open-Source-Modellen, unternehmenseigenen Aufgabendaten und bewertbaren Workflows.
• Frontier-Modelle werden genutzt, um Automatisierungspotenzial zu prüfen und eine erste Baseline zu setzen.
  • Im Aufrufprozess sammeln sich Eingaben, Entscheidungen und Korrekturen an, die später zu Trainingsdaten für spezialisierte Modelle werden.
  • Sobald man die Prototypenphase verlässt und in den Massenbetrieb geht, werden Kosten pro Aufruf und Performance zur Priorität.
• Frontier-Modelle und spezialisierte Modelle ersetzen sich nicht vollständig gegenseitig.
  • Allgemeine Modelle wie ChatGPT oder Claude können Teile, die internes Wissen erfordern, an spezialisierte Modelle delegieren.
  • Auch spezialisierte Modelle können bei Aufgaben mit hohem Bedarf an allgemeiner Kompetenz Frontier-Modelle aufrufen.
• Modelle arbeiten mit den Tools und Daten des Unternehmens, Bewertungsraster (rubrics) benoten die Ergebnisse, und Belohnungssignale aktualisieren das Modell.
  • Nach Zehntausenden Wiederholungen verankert sich die geschäftliche Entscheidungslogik in den Gewichten.
  • Veränderliche Fakten wie Preise, Lagerbestände oder Richtliniendokumente bleiben in Tools gespeichert.

Reale Deployments spezialisierter Modelle

• Bridgewater Associates trainierte ein Open-Source-Modell mit Labels von Investmentexperten, damit es beurteilt, ob Artikel, Meldungen und E-Mails für eine Investmentthese relevant sind und ab wo Floskeln beginnen.
  • Mit Prompts allein ließen sich interne Entscheidungskriterien nicht stabil abbilden.
  • Das trainierte Modell machte etwa 30 % weniger Fehler als das beste Frontier-Modell und verursachte zugleich geringere Inferenzkosten.
• Harvey setzte Open-Weight-Modelle und Reinforcement Learning auf Aufgaben wie Transaction Due Diligence und juristische Memos an, bei denen sich Fehler über mehrere Schritte hinweg aufsummieren.
  • Im eigenen Bewertungsraster übertraf der Legal Agent GPT-5.5 und Claude Opus 4.8.
• Intercom Fin Apex wurde anhand von Milliarden Kundendienstinteraktionen nachtrainiert, um bei rund 2 Millionen Kundenanfragen pro Woche die Kosten pro Aufruf und die Lösungsquote zu verbessern.
  • Laut Intercom löst es mehr Fälle als die besten Frontier-Modelle und senkt zugleich die Betriebskosten.
• Das gemeinsame Deployment-Muster besteht darin, zuerst mit einem Frontier-Modell und optimierten Prompts sowie Kontexten eine Baseline zu schaffen und danach Ausführungsprotokolle und Trainingswissen auf ein kleines Modell zu übertragen, das dem Unternehmen gehört.

Katalogintegrität und Kostenproblem

• E-Commerce-Kataloge müssen jedes Produkt korrekt in die Taxonomie einordnen und aus Bildern sowie Beschreibungen präzise Attribute extrahieren, die für Suche, Filter, Empfehlungen und nachgelagerte Prozesse genutzt werden.
• Falsche Entscheidungen verschlechtern Auffindbarkeit und Empfehlungsqualität und lassen Richtlinienverstöße durchrutschen.
  • Werden Fälschungen übersehen, sind Kunden und Marken Betrug ausgesetzt.
  • Werden legitime Produkte übermäßig markiert, steigen Review-Queues und die Belastung für Händler.
• Auch der Umfang ist groß.
  • eBay hat rund 2,5 Milliarden aktive Produkte.
  • Im Shopify-Katalog gibt es pro Tag mehr als 10 Millionen Produktaktualisierungen.
  • Walmart schätzt, dass für AI-gestützte Katalogarbeit bei rein menschlicher Bearbeitung etwa 100-mal mehr Personal nötig gewesen wäre.
  • 71 % der Verbraucher geben an, schon einmal ein Produkt zurückgeschickt zu haben, weil es nicht der Listung entsprach.
• Für einen mittelgroßen Marketplace mit rund 10 Millionen Produkterstellungen und -änderungen pro Tag werden die jährlichen Kosten für eine Frontier-basierte Prüfung auf etwa 500 Millionen Dollar geschätzt, für ein feinabgestimmtes Spezialmodell dagegen auf etwa 10 Millionen Dollar.
• Shopify nutzt feinabgestimmte offene Modelle für rund 40 Millionen Produktklassifizierungs-Inferenzen pro Tag, weil kommerzielle APIs wirtschaftlich nicht tragfähig seien.

Aufgaben des Katalogprüfungs-Agenten

• Während der Produktprüfung durchsucht der Agent die Taxonomie, verifiziert die Marke, ruft das Attributschema der jeweiligen Kategorie ab und trifft anschließend eine strukturierte Entscheidung.
• Wenn die Belege nicht ausreichen oder das Risiko hoch ist, wird an eine menschliche Prüfung eskaliert.
• Das Beispiel mit Arbeitshandschuhen wird in folgender Reihenfolge bearbeitet:
  • Mit search_taxonomy wird die Kategorie Safety Work Gloves gefunden.
  • Mit lookup_brand wird bestätigt, dass AmazonBasics registriert ist, aber nicht unter besonderem Schutz steht.
  • Mit get_attribute_schema werden die Attribute Marke, Farbe, Material und Größe abgefragt.
  • Zusammen mit Kategorie und Attributen wird die Entscheidung allowed bestätigt.
• Die Kosten, einen echten Verstoß zu übersehen, wurden 7-mal höher gewichtet als ein False Positive, sodass beide Fehlertypen asymmetrisch gelernt werden.

Digitaler Zwilling für das Training

• Mit realen Produktbildern und Listings aus Amazon Berkeley Objects wurden 177.767 Prüfepsioden aufgebaut.
  • Jede Episode enthält Bilder, Titel, Beschreibung, beanspruchte Marke und Region.
  • Kontrollierte Policy-Verstöße, inkonsistente Bilder, widersprüchliche Markenbehauptungen und zugleich legitime Behauptungen wurden als schwierige Negativbeispiele eingefügt.
  • Für jede Episode gibt es eine bewertbare richtige Antwort.
• Die vom Modell genutzte Umgebung bildet die Arbeit realer Analysten nach.
  • Es durchsucht etwa 13.000 Kategorien.
  • Es prüft, ob Marken registriert oder geschützt sind.
  • Es ruft die für die gewählte Kategorie erforderlichen Attribute ab.
  • Es bestätigt die endgültige Kategorie-, Attribut- und Policy-Entscheidung.
• Der Bewerter belohnt richtige Antworten und verhängt Strafen für übersehene Verstöße, unbegründete Attribute, falsche Kategorien und unnötige Tool-Aufrufe.
• Reinforcement Learning ist nur möglich, wenn eine Umgebung existiert, in der Fehlschläge und Wiederholungsversuche innerhalb eines nachgebildeten Systems aus Listen, Tools und Entscheidungskosten der realen Arbeit wiederholt werden können.

Baseline der Frontier-Modelle

• Verglichen wurden GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8 und Claude Fable 5 auf 200 geschichteten Validierungsepisoden.
  • Für alle Modelle galten dieselben Tools, Bilder, Bewerter und Turn-Budgets.
  • Getestet wurden sowohl ein Standardprompt als auch ein optimierter Prompt mit 2.800 Zeichen an Extraktionsregeln, Abfrageverfahren und Beispielen.
• Die beste Frontier-Konfiguration erreichte 76,9 % des möglichen Scores, das mit GRPO trainierte 9B-Modell kam auf 87,3 %.
• Frontier-Modelle müssen in jeder Episode die Taxonomie des jeweiligen Shops, Bestandskonventionen, unterstützte Attributwerte und Ausnahmebehandlungen erneut aus dem Prompt rekonstruieren.
  • Mit optimierten Anweisungen lässt sich ein Teil dieses Wissens komprimieren, aber nicht jede scorekritische Ausnahme vollständig aufzählen.
  • Die optimierten Frontier-Konfigurationen konvergierten alle innerhalb von 0,1 Prozentpunkten.
  • Gemini, das bei Zero-Shot-Extraktion am stärksten war, wurde mit den optimierten Anweisungen sogar schlechter.
• Zusätzliche Anweisungen erhöhten je nach Modell die Eingabetokenkosten pro Aufruf um 28–55 %.
  • Arbeitswissen im Prompt kostet bei jedem Aufruf erneut, gelerntes Wissen bleibt dagegen in den Gewichten erhalten.

GRPO-Training für 500 Dollar

• Für das Training wurden zwei RTX PRO 6000 GPUs gemietet, eine für Rollout-Generierung und eine für Gradienten-Updates.
• Die Infrastruktur basierte auf dem Open-Source-Projekt prime-rl.
• Das gesamte Training umfasste 1.000 Optimierungsschritte, dauerte rund 3,5 Tage und verursachte GPU-Kosten von etwa 500 Dollar.
  • Bereits nach etwa 250 Schritten und ungefähr einem Tag Training wurde das Niveau der Frontier-Modelle übertroffen.
  • Die übrigen Schritte dienten dazu, die Maximalleistung herauszuholen.
• Der finale strenge Benchmark-Score lag bei 0,626, also bei 87,3 % der erreichbaren Obergrenze und rund 10 Prozentpunkten über der besten Frontier-Konfiguration.
  • Im W&B-Trainingsmonitor stieg der Wert von etwa 0,50 auf 0,671 nach 1.000 Schritten.
  • Der Monitor verwendet zwei Sample-Rollouts pro Episode und erzielt daher etwas höhere Werte als das strenge Benchmark-Harness.
• Das untrainierte 9B-Basismodell lag bei 64,2 % des Maximalscores und stieg nach dem Fine-Tuning auf 87,3 %, was einer relativen Verbesserung von rund 36 % entspricht.
• Das Spezialmodell lernt die Beziehungen zwischen Taxonomie, Tools, Richtlinien und Belohnungen und konzentriert seine Fähigkeiten auf das Verhalten in einer bestimmten Umgebung, opfert dafür aber allgemeine Kompetenz.
• Wenn stärkere Open-Source-Basismodelle erscheinen, lässt sich dieselbe Trainingsmethode übertragen; zudem können im Betrieb protokollierte Entscheidungen zu Daten für Supervised Fine-Tuning destilliert und für späteres Retraining genutzt werden.

Kosten- und Qualitätsvergleich

• Die Inferenzkosten des Spezialmodells liegen bei etwa 0,50 Dollar pro 1.000 Produkte; durch Fine-Tuning erzielt es bei denselben Kosten einen um etwa 23 Prozentpunkte höheren Score als das 9B-Basismodell.
• Die Kostenunterschiede im Vergleich sehen wie folgt aus:
  • Gemini, die günstigste Frontier-Konfiguration, kostet 19 Dollar pro 1.000 und ist damit 40-mal teurer als das Spezialmodell.
  • GPT-5.5-pro, die teuerste Konfiguration, kostet 172 Dollar pro 1.000 und ist damit rund 340-mal teurer.
  • Die Frontier-Konfiguration mit dem höchsten Score kostet 34 Dollar pro 1.000 und ist damit 68-mal teurer als das Spezialmodell.
• Die 2.800-Zeichen-Anweisungen erhöhten die gemessenen Kosten von GPT-5.5 um etwa ein Drittel; diese Prompt-Steuer fällt danach bei jedem Aufruf erneut an.
• Bei rund 40 Millionen Vorgängen pro Tag kostet eine Konfiguration mit 34 Dollar pro 1.000 Fällen pro Jahr etwa 500 Millionen Dollar, das Spezialmodell mit 0,50 Dollar etwa 7 Millionen Dollar — ein Kostenunterschied von rund 98 %.

Geeignete Aufgaben und Bereiche, die man meiden sollte

• Geeignet sind massenhafte, wiederholbare Aufgaben, die aus Informationen Entscheidungen ableiten.
  • Ticket-Routing
  • Extraktion von Dokumentfeldern
  • Prüfung von Einreichungen anhand von Richtlinien
  • Produktklassifizierung
  • Genehmigung oder Markierung von Transaktionen
• Die Schlüsselfrage ist, ob sich die Richtigkeit jeder Entscheidung mit Regeln, Schemata, Tests, Bewertungsrastern oder Expertenurteilen verifizieren lässt.
  • Bewertbare Entscheidungen kann ein Modell üben.
  • Ergebnisse, über die nur diskutiert werden kann, ohne Konsens zu erzielen, lassen sich mit diesem Ansatz nicht trainieren.
• Die Tool-Wahl richtet sich nach Häufigkeit und Verifizierbarkeit.
  • Für häufige und verifizierbare Aufgaben eignet sich Fine-Tuning.
  • Für verifizierbare, aber seltene Aufgaben eignen sich Frontier-Modelle mit optimierten Prompts.
  • Bei nicht verifizierbaren Ergebnissen muss der Mensch eingreifen.
  • Wenn der Kern des Problems nicht im Urteil, sondern in veränderlichen Fakten liegt, ist unabhängig von der Häufigkeit Retrieval Augmentation geeignet.
• Fine-Tuning kommt infrage, wenn mindestens eine der folgenden Bedingungen erfüllt ist:
  • Aufrufkosten und Fehler treten in so großem Umfang auf, dass sie sich zu realen Kosten aufsummieren.
  • Alle Ergebnisse lassen sich ohne Menschen per Regeln, Tests oder Bewertungsraster prüfen.
  • Experten sind sich über die Kriterien der richtigen Antwort einig.
  • Ein leistungsfähiges Modell ist teilweise erfolgreich, aber nicht konsistent genug für Vertrauen.
  • Die richtige Antwort kann nicht zufällig erraten werden.
  • Die Aufgabe besteht aus mehreren Schritten wie Reasoning, Tool-Aufrufen und endgültiger Entscheidung.
  • Sie läuft auf eigenen Tools, Schemata und Richtlinien.
  • Unterschiedliche Fehlertypen verursachen unterschiedliche Kosten.
  • Sensible Daten dürfen nicht an Infrastruktur außerhalb der eigenen Kontrolle gesendet werden.
• Läuft das Modell innerhalb der eigenen Grenzen, werden Prompts und Logs nicht an externe Anbieter weitergegeben, und Modell, Evaluierung und Daten lassen sich gemeinsam besitzen und verbessern.

Beispiele spezialisierter Modelle in anderen Branchen

• Cognition entwickelte ein Modell zum Schreiben und Ändern von Produktionssoftware, das GPT-5.5 in Standard-Coding-Benchmarks übertrifft und 1.000 Token pro Sekunde streamt.
• AT&T fasst täglich 900.000 Support-Anrufe zusammen und markiert personenbezogene Daten.
  • Die Erkennung personenbezogener Daten liegt 17 % über GPT-4o.
  • Betrugsfälle werden bei GPT-4o-ähnlicher Genauigkeit 12-mal schneller geprüft, was jährlich Millionen Dollar spart.
• LinkedIn setzt ein Matching-Modell für Jobsuchende und Stellenanzeigen ein, das 4 % genauer ist als das ersetzte GPT-Modell.
  • Es ist 75-mal günstiger als GPT-4 und 6-mal günstiger als GPT-4o.
• Ambience Healthcare betreibt ein Modell für medizinische Abrechnungscodes, das in einem Gold-Panel-Test genauer ist als 18 Fachärzte.
  • Es liegt 12 Prozentpunkte über dem promptbasierten Ansatz o4-mini.
• Phonely erreichte mit seinem Telefonservice-Modell 99,2 % Genauigkeit und übertrifft damit GPT-4o mit 94,7 %.
  • Die Antworten waren 73 % schneller als in der vorherigen GPT-4o-Konfiguration, und ein Kunde ersetzte damit in nur einem Monat 350 menschliche Support-Mitarbeiter.
• OpenPipe erzielte mit seinem Modell für E-Mails und Support-Tickets 93 % in der Support-QA und lag damit vor OpenAI o3 mit 50 %.
  • Es ist 64-mal günstiger und 5-mal schneller als o3.
• Perplexity Sonar liegt bei Suchantworten mit Quellenangaben in verblindeten Nutzertests auf Augenhöhe mit GPT-4o.
  • Es ist 10-mal schneller und günstiger als GPT-4o.
• Checkr übertrifft mit seinem Modell zur Klassifizierung von Strafregistern GPT-4 in den schwierigsten Fällen.
  • Es ist 5-mal günstiger und 30-mal schneller als die bisherige GPT-4-Konfiguration.
• Alle Kennzahlen sind selbst berichtete Ergebnisse der jeweiligen Unternehmen im Vergleich zu den Frontier-Modellen, die sie ersetzt oder gegen die sie konkurriert haben.

[click]

Es entspricht wohl der menschlichen Psychologie, dass man lieber alles einer einzigen Person gibt und erwartet, dass sie sich um alles gut kümmert, statt für jeden einzelnen Fall einen Experten zu suchen und ihm nur einen begrenzten Aufgabenbereich zu überlassen.
Ist es da nicht fast unvermeidlich, dass auch bei LLMs die Belohnungsfunktion so gestaltet wird, dass sie einfach alles annimmt, was man ihnen hinwirft?

[GN⁺]

Meinungen auf Hacker News

• Der entscheidende Punkt, den große Forschungslabore übersehen, ist, dass die meisten Anwendungsfälle kein Wissen auf dem Niveau von 50 Doktoranden und Fähigkeiten in 12 Sprachen brauchen, während Kostenbeschränkungen viel wichtiger sind.
  Wenn Open-Weights-Modelle und günstiges Fine-Tuning allgemein verfügbar werden, bricht die Wirtschaftlichkeit riesiger Modelle und schuldenfinanzierter Großinfrastruktur zusammen.
  Politik oder die Erzählung von der Bedrohung durch China sind nur vorgeschobene Begründungen; wenn kleine Open-Weights-Modelle zum Standard werden, wird es für große Labore schwer zu überleben.

  • Allgemeine Anwendungsfälle profitieren stark von breit trainierten Modellen. Wenn man den konkreten Anwendungsfall nicht im Voraus kennt, braucht man Weltwissen, und auch beim Coding ist dieses Wissen nützlich, um Produktabsicht und Nutzungsweise zu verstehen.
    Der wirklich teure Teil beim Fine-Tuning ist das Sammeln eines guten Datensatzes, und selbst mit sauberen Daten braucht man die Fähigkeit, Evaluationen auszuführen und Qualität zu messen.
    Rechnet man Engineering, Daten-Labeling und laufende Qualitätsprüfung hinzu, ist es für viele Anwendungsfälle günstiger, weiterhin ein Spitzenmodell eines führenden Forschungslabors zu nutzen, das von Anfang an gut funktioniert.
  • Dass die meisten Unternehmen statt der weiterhin benötigten Software Engineers plötzlich AI Researchers suchen, zeigt dasselbe Phänomen.
    Das erinnert daran, wie vor rund zehn Jahren alle das FAANG-Interviewformat kopierten, nachdem es öffentlich bekannt geworden war.
  • Das entspricht ziemlich genau dem, was Richard Sutton in der Praxis kommen sah: https://www.youtube.com/watch?v=21EYKqUsPfg
    Seine Aussage ist, dass der heutige Weg, Gewichte immer weiter zu vergrößern und Hardware daraufzuwerfen, eine Sackgasse ist und man am Ende, wie schon immer in der Geschichte der KI, zu zweckgerichteten Algorithmen zurückkehrt.
  • Wenn effizientere Kleinstmodelle auftauchen, werden viele heute noch unsichtbare Veränderungen sichtbar werden.
    Um zu beweisen, dass man nicht so viele Parameter braucht, baue ich TinyToT.
  • Wenn, wie in der Tabelle des Artikels, der gesamte Arbeitsumfang 1.000 klassifizierte Einträge beträgt und der Qualitätsmaßstab bei 70 % liegt, scheint es mir besser, 19 Dollar für die Gemini API zu zahlen, statt 500 Dollar und Zeit in ein maßgeschneidertes Fine-Tuning zu investieren.

• Jedes Mal, wenn ich solche Geschichten sehe, stoßen mir zwei Dinge auf.
  Erstens habe ich mehrfach gesehen, dass Strategien wie bestehende Modelle besser zu nutzen oder einfach nichts zu tun und abzuwarten bessere Ergebnisse liefern als erneutes Training. Der Vergleichsmaßstab sollte nicht das heutige Spitzenmodell sein, sondern das nächste Modell, das während der Pflege des fine-getunten Modells erscheint.
  Zweitens sind die 500 Dollar Trainingskosten der billigste Posten; Datenerzeugung und anschließende Modellpflege sind viel teurer. Ich frage mich, für wie viele Anwendungsfälle sich 177.000 bewertete Episoden tatsächlich erstellen lassen.
  Hier mussten sie mit Amazon Berkeley Objects synthetisiert werden, und gerade dieser Datensatz, den man gar nicht hätte erstellen müssen, wenn er natürlich vorhanden gewesen wäre, zeigt am besten die Schwierigkeit beim Einsatz von Fine-Tuning.

  • Wenn die Kosten während des Wartens höher sind als Trainings- und Wartungskosten, ist dieser Ansatz weiterhin sinnvoll. Je nachdem, wie schnell sich günstige Open-Source-Modelle entwickeln, kann es eine vorübergehende Strategie sein, aber sie ist durchaus wertvoll.
    So wie spezialisierte Hardware wie GPUs auch nach Fortschritten bei CPUs weiter genutzt wird, werden spezialisierte Modelle gegenüber allgemeinen Modellen bei Kosten oder Ergebnissen wahrscheinlich weiterhin überlegen sein.
    Wenn das initiale Training 500 Dollar kostet, ist kontinuierliches Training selbst relativ günstig. Neue Beispiele passend zu Datenänderungen zu erzeugen ist teurer, kann aber für das Training des nächsten Modells wiederverwendet werden und ist ohnehin in gewissem Umfang nötig, um Änderungen an Modell und Prompt zu evaluieren.
    Am Ende ist es wegen Datenerzeugungs- und Trainingskosten oder Datenmangel nicht immer sinnvoll, sondern, wie in der Grafik des Artikels, nur für häufige und überprüfbare Aufgaben geeignet. Realistisch ist es vielleicht nur für Großunternehmen, die Millionen von Entscheidungen verarbeiten.
  • Rechnet man die nicht offengelegte Trial-and-Error-Phase bei Hyperparametern mit ein, scheint es ziemlich sicher, dass allein die Trainingsläufe mehr als 5.000 Dollar gekostet haben.
  • Viele der Weltunternehmen, die am meisten Geld für Inferenz mit Spitzenmodellen ausgeben, besitzen bereits den teuren Teil: gelabelte Datensätze.
    Auch die Kosten für Datensätze und Modellpflege werden über Startups wie Braintrust oder Hugging Face zunehmend als allgemeine Services angeboten.
  • Ich frage mich, was hier mit Modellpflege konkret gemeint ist.

• Spitzenmodelle sind sehr gut darin, ihre eigenen Jobs abzuschaffen.
  Schon bei GPT erledigt Luna 90 % der Aufgaben von Sol. Der Grund, warum China weiterhin viel Aufwand in Model Distillation steckt, ist die Erzeugung präziser Trainingsdaten; OpenAI und Anthropic haben Jahre damit verbracht, diese zu sammeln und dabei rechtliche Probleme zu vermeiden.
  Je klüger Modelle werden, desto stärker wechselt man zu billigeren Alternativen, die die Arbeit ausreichend gut erledigen. Wenn die Genauigkeit bereits bei 99 % liegt, bringt der Einsatz eines Spitzenmodells kaum noch praktischen Nutzen; darin sehe ich das größte Risiko für US-Labore.

  • Der zentrale Anwendungsfall für Topmodelle ist Coding. Wenn man Terra auf das höchste Reasoning-Niveau stellt und Code schreiben lässt, findet Sol zahllose Bugs und zerlegt den Code gründlich.
    Für andere Aufgaben reichen günstigere Modelle völlig aus.
  • Das entspricht der üblichen S-Kurve von Technologie. Ob sich der Fortschritt der AI-Reasoning-Fähigkeiten tatsächlich verlangsamt hat, sei dahingestellt; für den praktischen Zweck, ein React-Frontend zu schreiben, ist er faktisch schon langsamer geworden.
    Ähnlich wie ich keinen Grund sehe, meinen um 2018 gekauften LCD-Fernseher zu ersetzen, verhält es sich auch mit anderer Technik.
    Technologie neigt dazu, neue Technologien zu ersetzen oder in leere Bereiche vorzudringen, ersetzt aber selten nichttechnische Bereiche wie menschliche Interaktion. Auch Freizeitaktivitäten vor Bildschirmen tendieren meist zu parasozialen Beziehungen.
  • Für ausreichend komplexen oder umfangreichen Code sind Modelle außer Sol unzureichend.
  • Ich spüre den Unterschied zwischen Terra und Sol nicht besonders, nutze aber immer Sol. Auch der Unterschied zwischen mittlerem und höchstem Reasoning wirkt auf mich nicht besonders klar.

• Ich interessiere mich sehr für das Fine-Tuning offener Modelle und suche selbst nach empfehlenswertem Material; diesen Beitrag habe ich gespeichert, um ihn gründlich zu lesen.
  Ich habe Nemotron-3-Nano 30B lokal ausgeführt und ziele auf Modelle mit 30 bis 120 Milliarden Parametern ab. Schon das Basismodell ist gut genug, um echten praktischen Wert zu liefern, aber bei spezialisierten Aufgaben kann Training meiner Ansicht nach die letzte Lücke schließen.
  Mir gefällt besonders, dass der Autor den gesamten Prozess durchdenkt, und ich konnte denselben Anwendungsfall und dieselbe Strategie zur Wertschöpfung erkennen. Da es ein langfristiges Projekt ist, plane ich auch, Hardware fürs Fine-Tuning zu kaufen.

  • Mich würde interessieren, welche Hardware du nutzt und wie hoch die Token-Erzeugungsrate pro Sekunde ist. Selbst auf einem leistungsstarken MacBook mit 128 GB Speicher war die Generierungsgeschwindigkeit lokaler Modelle für mich immer sehr enttäuschend.

• Ich habe den Ramp-Artikel nicht gelesen, aber es wirkt wie ein Post-hoc-Fehler. Ein Unternehmen mit 2× Umsatz hat Geld für AI, während eines mit 1,15× Umsatz es vielleicht einfach nicht hat

  • Ebenso ist die Interpretation möglich, dass Unternehmen, die viel AI einsetzen, mit deutlich höherer Wahrscheinlichkeit agile Unternehmen in der Wachstumsphase sind als große, reife Konzerne

• Das Fine-Tuning kleinerer Sprachmodelle wie kleiner LLMs oder BERT wurde schon seit den frühen Tagen der LLMs empfohlen. Die Vorteile sind klar: schnelle Ausführung, Kontrolle über den gesamten technischen Stack und bessere Passung für maßgeschneiderte Domänen
  In der Praxis wird aber nicht viel finegetunt, weil APIs großer Sprachmodelle weiterhin günstig, schnell genug und ständig besser werden. Denn sobald man Zeit und Geld investiert hat, um ein spezialisiertes Modell zu veröffentlichen, kann ein neues General-Purpose-Modell es schon übertreffen
  Wenn die Entwicklung von LLMs irgendwann langsamer wird oder API-Preise schwer tragbar werden, wird die Ära von Fine-Tuning und kleinen Modellen zurückkehren

  • Am Ende werden wir wohl diesen Punkt der S-Kurve erreichen. Die Verteidigungsfähigkeit vieler Unternehmen entsteht aus ihren eigenen Prozessen und Daten, und selbst gehostete, finegetunte Modelle könnten zunehmend als Geschäftsgeheimnisse gelten
  • Fine-Tuning selbst ist ebenfalls sehr schwierig, und für gute Ergebnisse braucht man viele Daten

• Mir gefällt das 2×2-Raster, das zeigt, wann man ein Modell fine-tunen und wann man ein Spitzenmodell verwenden sollte
  Allerdings ist unklar, wie der Evaluator die Punkte für jede Episode festgelegt hat. Falls ein Spitzenmodell bewertet hat, frage ich mich, ob die Bewertung noch gültig ist, nachdem das finegetunte Modell bei der Aufgabe besser geworden ist als dieses Modell

• Es hilft, zuerst aus einem größeren Open Model wie Kimi K3 die gesamte Wahrscheinlichkeitsverteilung eines domänenspezifischen Workflows zu destillieren und anschließend die eigene private Reinforcement-Learning-Pipeline darauf anzuwenden. Wir haben mit GLM 5.2 ein privates 27B-Modell für Englisch→SQL gebaut und bessere Ergebnisse als Fable erzielt, allerdings ging die Erklärfähigkeit verloren
  In hochspezialisierten Bereichen ist es nicht schwer, Spitzenmodelle zu einem Bruchteil der Kosten zu übertreffen. Selbst ohne eigene Reinforcement-Learning-Pipeline kann allein Destillation große Kosten sparen, und ein 27B-Modell kann bei dieser Aufgabe einem 3T-Modell nahekommen
  Allerdings funktioniert das wahrscheinlich nicht für Aufgaben, die zu ambitioniert sind, um zu einem Expertenmodell zu passen

• In letzter Zeit war ich in automatische Forschung vertieft, bei der Apples 3B Foundation Model bei einer sehr konkreten Aufgabe auf das Niveau von Sonnet 4.6 gebracht wird
  Mit einer Kombination aus Fine-Tuning-Adapter und einem deterministischen Schritt habe ich etwa 90 % erreicht
  Den gesamten Prozess, einschließlich Fragen und Antworten, 96 Experimenten und Genealogie, habe ich unter https://alexisrondeau.me/tada/research/FMDiscovery/dashboard... zusammengefasst

  • Die Idee ist gut, aber es wirkt ziemlich schwer lesbar. Es wäre gut, es einmal selbst von Anfang bis Ende zu lesen, ohne etwas zu überspringen

• Der Flaschenhals lag nicht in der Modellgröße, sondern darin, dass jemand, der das Problem wirklich versteht, die Reward Function definieren musste

  • Da ich automatische Forschung als Hauptstrategie nutze, komme ich noch stärker zu derselben Schlussfolgerung
    Es gibt viele hervorragende Programmiersprachen, um Lösungen zu definieren, aber ich frage mich, wo die Sprache zur klaren Definition von Problemen ist