Wie Databricks einen eigenen KI-Benchmark fürs Programmieren erstellt hat – und was dabei herauskam

• Das Problem bei öffentlich verfügbaren Coding-Benchmarks: Sie passen nicht exakt zur jeweiligen Unternehmenssituation und lassen sich durch Cheating austricksen
  • Databricks hat Benchmarks auf Basis tatsächlich durchgeführter Aufgaben und verwendeter Sprachen erstellt und ausgewertet
• GLM 5.2 löste selbst die schwierigsten Aufgaben auf dem Niveau von Opus 4.8, kostete dabei aber nur rund 66 % von Opus
• Sonnet 5 ist 1,7-mal günstiger als Opus 4.8, ist aber ineffizient, weil es für den tatsächlichen Abschluss der Aufgaben 1,9-mal mehr Tokens verbraucht
• Selbst beim Einsatz desselben Modells lassen sich je nach Harness Kosten und Laufzeit deutlich senken