Unstimmigkeiten bei AGI-Bewertung und Auswahl der Preisträger

• Nach der Veröffentlichung der Ergebnisse des AGI-Benchmark-Hackathons von Kaggle und Google DeepMind forderten Teilnehmende unter Verweis auf Probleme bei Punkteberechnung und Reproduzierbarkeit des erstplatzierten MEDLEY-BENCH die Offenlegung und erneute Prüfung des Bewertungsprozesses.
• MEDLEY-BENCH kam zu dem Schluss, dass sich mit wachsender Modellgröße nur die „Bewertung“ verbessere, während die „Kontrolle“ stagniere. Kritiker entgegnen jedoch, dass beide Kennzahlen ähnlich ansteigen und auch die Basismaße mit ρ=0.79~0.94 eine hohe Korrelation zeigen.
• Bei der Code-Prüfung wurden 33 manuell gesetzte Gewichtungen ohne Begründung oder Ablationsstudien, 30 nicht validierte LLM-Bewertungskriterien, eine Logik entdeckt, die geringe Sicherheit als Gegenteil behandelt, sowie eine Datenerzeugung, bei der unterschiedliche Behauptungen mit derselben ID versehen und zusammengezählt werden.
• Bei MEDLEY-BENCH, GAUGE und Metaproteus lässt sich ohne Ausführungstraces nur ein einzelner Score prüfen, und auch LearningBench ist so komplex, dass die Verifikation einzelner Fälle Stunden dauern kann. Deshalb forderten Teilnehmende das vollständige Leaderboard und kriterienspezifische Bewertungsergebnisse.
• Kaggle antwortete, dass rund 20 menschliche Juroren alle prämierten Arbeiten mit mindestens zwei, teils drei bis vier unabhängigen Bewertungen geprüft hätten und die Bewertungsphase von 1,5 auf 3 Monate verlängert worden sei, veröffentlichte jedoch weder einreichungsspezifische Punktzahlen noch den detaillierten Auswahlprozess.

---

Aufbau des Hackathons und Prämierungsergebnisse

• Kaggle und Google DeepMind veranstalteten gemeinsam den Hackathon Measuring Progress Toward AGI: Cognitive Abilities, der über memorisierte Reproduktion hinaus Schlussfolgern, Verhalten und Urteilsvermögen von Frontier-Modellen bewerten soll.
  • In 5 kognitiven Tracks reichten mehr als 1.000 Teams Benchmarks ein.
  • Für 4 Hauptpreise waren jeweils 25.000 US-Dollar, für 10 Track-Gewinner jeweils 10.000 US-Dollar vorgesehen.

Die 4 Hauptpreisträger

• MEDLEY-BENCH bewertet, ob ein Modell unter sozialem Druck seine eigene Unsicherheit erkennt, bei fehlerhaftem Druck an bestehenden Überzeugungen festhält und bei gültiger Widerlegung seine Überzeugungen anpasst.
• LearningBench misst Lernen zur Inferenzzeit, also ob ein Modell nicht auf vortrainiertes Wissen zurückgreift, sondern die Regeln eines textbasierten Systems, dem es zum ersten Mal begegnet, innerhalb eines einzelnen Gesprächs lernt.
• GAUGE verwendet eine dreistufige Metakognitions-Treppe aus Vorhersage der Aufgabenschwierigkeit, Lösung mit Vertrauensangabe sowie Einreichen oder Verzicht in Abhängigkeit von spieltheoretischen Belohnungen.
  • Ein Frontier-Modell zeigte bei 270 Einträgen die beste Genauigkeit und Kalibrierung, verzichtete aber kein einziges Mal. Das deutet darauf hin, dass Monitoring-Fähigkeit und Verhaltenskontrolle getrennt sein können.
• Metaproteus bewertet nicht Weltwissen, sondern wie gut ein Modell seine eigene Ausgabeverteilung und Sampling-Tendenzen kennt.
  • Nach der Erzeugung von Wortassoziations-Ausgaben soll eine neue Modellinstanz ihre eigenen Antworten vorhersagen; dabei werden Fehlformen unterschieden, bei denen das Modell selbstsicher produzierte Ausgaben unterschätzt oder sogar Wörter übermäßig billigt, die es gar nicht erzeugen würde.

Gewinner der 5 kognitiven Tracks

• Exekutive Funktionen

  • Turn Bench misst Planen, Ausführen, Arbeitsgedächtnis, Inhibition und adaptive Flexibilität getrennt anhand rundenbasierter Spiele mit absichtlich einfachen Regeln.
  • Durch Varianten mit gegensätzlichen Anforderungen unterscheidet es echte kognitive Flexibilität von Verhaltens-Defaults, die nur zufällig zu einer bestimmten Situation passen.
  • Exekutive Funktionen werden nicht als einzelne Fähigkeit betrachtet, die mit der Modellgröße mitwächst, sondern als situationsabhängiges Profil.
  • SecureExec-Bench misst, ob Modelle in sicherheitssensitiven Umgebungen wie Incident Response und Umgang mit Zugangsdaten gegnerischen Manipulationen standhalten und Sicherheitsprozesse einhalten.

• Lernen

  • GrammarGym prüft auf Basis künstlichen Grammatiklernens aus der Kognitionspsychologie, ob Modelle neue synthetische Regeln erwerben, die von Bedeutung entkoppelt sind.
  • Da die Grammatik neu generiert wird, kann die Lernfähigkeit getestet werden, ohne sich auf auswendig gelerntes Wissen zu stützen.
  • EphLangBench erzeugt pro Sitzung eine Programmiersprache, in der Schlüsselwörter, Operatoren sowie Infix-, Präfix- und Postfix-Notation zufällig festgelegt werden.
  • Das Modell liest nur die Spezifikation im Kontext, lernt die neue Grammatik und löst algorithmische Probleme; über mehrere Runden muss es Fehler anhand von Compiler-Feedback korrigieren.
  • Bei 10 Modellen und 200 Aufgaben lag die Erfolgsquote zwischen 7~89%, also mit deutlich größeren Leistungsunterschieden als bei HumanEval.

• Metakognition

  • ESFP Benchmark bewertet, ob ein Modell zwischen einer Haltung wechseln kann, die Expertenmeinungen vermittelt, und einer Haltung, in der es selbstständig schlussfolgert.
  • Die Fähigkeit zum Umschalten zwischen „Werkzeug“- und „Akteur“-Modus unterschied sich stark zwischen den Modellen; Instruction Tuning lenkte Modelle eher in eine Werkzeugrolle, die autonome Selbstäußerung unterdrückt.
  • Metacognitive Calibration Benchmark prüft gemeinsam, ob Modelle auf Basis begrenzter klinisch anmutender Informationen Hypothesen bilden, zwischen Evidenz und Vermutung unterscheiden und bei unzureichender Information erkennen, dass zusätzliche Daten nötig sind.

• Soziale Kognition

  • HedgeDecode misst, ob ein Modell implizit übermittelte Absichten erkennt, die aus Höflichkeit oder zur Wahrung des Gesichts abgeschwächt formuliert sind, und sozial angemessen reagiert, ohne die schützende Ausdrucksweise des Nutzers offenzulegen.
  • AdvisorBench bewertet, ob KI-Modelle Nutzern, die mit geringerer Literalität kommunizieren, Ratschläge geringerer Qualität geben.
  • Gemessen wird, ob Qualität, Tiefe und Umsetzbarkeit von Ratschlägen je nach Kommunikationsweise nachlassen.

• Aufmerksamkeit

  • RIAC isoliert durch Wiederholung ausgelösten Aufmerksamkeitskollaps, bei dem ein Modell zwar Werte aus sauberen Sätzen extrahieren kann, aber scheitert, wenn diese von wiederholten Störtokens umgeben sind.
  • ABC bewertet selektive Aufmerksamkeit unter Interferenz sowohl in Text als auch visuell und trennt merkmalsensitive Aufmerksamkeit von struktursensitiver Aufmerksamkeit auf Basis der Gestaltpsychologie.
  • In Tests mit 15 Modellen und 2.160 Fällen zeigte sich, dass selbst Modelle, die explizite lokale Merkmale gut treffen, scheitern können, wenn sie die korrekte Gruppe, Region oder Struktureinheit identifizieren müssen.

Kontroverse um die Interpretation der MEDLEY-BENCH-Ergebnisse

• Thomas Werkmeister kritisierte, dass der erstplatzierte Hauptpreisträger MEDLEY-BENCH die als Bewertungskriterien bekannten Anforderungen an Qualität, Verteidigbarkeit, Klarheit und Neuheit nicht erfülle.
• In der Modellvergleichsansicht des Kaggle Benchmarks SDK wird nur ein einzelner Score angezeigt, sodass Datenerhebung oder Ausführungstraces von Gesprächen kaum nachvollziehbar sind.
• Das erste Resultat wird so interpretiert, dass mit wachsender Modellgröße die orange Kennzahl „Bewertung“ steigt, während die blaue Kennzahl „Kontrolle“ flach bleibt. Kritiker meinen jedoch, dass beide Linien und die übrigen Maße denselben Trend zeigen.
  • Aus der Gemma-Familie kam auch der Einwand, dass die Kontrolle im Diagramm stärker zuzunehmen scheine als die Bewertung.
  • Das ergänzende Paper berichtet für die Basismaße Korrelationen von ρ=0.79~0.94.
• MEDLEY-BENCH schließt, dass Standard-LLM-Training Bewertungsfähigkeit gegenüber Kontrolle bevorzuge, behandelt Bewertung an anderer Stelle aber als relativ schwächste der vier Grundfähigkeiten, was als interner Widerspruch kritisiert wird.
• Wenn sich die vier Fähigkeiten nahezu gemeinsam bewegen, bleibt zudem unklar, ob tatsächlich unterschiedliche Fähigkeiten getrennt gemessen werden.

Probleme bei Punkteberechnung und Datenerzeugung

• Eine zusätzliche Code-Prüfung ergab, dass bei der Score-Kombination insgesamt 33 manuell gesetzte Gewichtungen verwendet wurden.
  • 24 für die Berechnung von T1, T2 und T3, 8 für die Berechnung sozialer Änderungen zwischen privat und öffentlich in T2 sowie 1 für die Aggregation des MMS-Balance-Faktors.
  • Für keine dieser Gewichtungen wurden Begründungen oder Ablationsstudien geliefert.
• Für T3 wurden insgesamt 30 einzeilige kognitive Kriterien verwendet, jeweils 3 für 10 LLM-Bewertungskategorien; ob sie die beabsichtigten Fähigkeiten tatsächlich erfassen, wurde jedoch nicht getestet.
• Die Prompts behandeln geringe Sicherheit in einer Behauptung so, als sei sie das Gegenteil dieser Behauptung.
  • Kritiker argumentieren, dass man auch bei einer vorläufig als richtig angesehenen Behauptung geringe Sicherheit haben kann und dass Widerspruch nicht dasselbe ist wie Sicherheit in der Gegenbehauptung.
• Da jedes Modell selbst Behauptungen 1 bis 5 formuliert, wurde festgestellt, dass selbst bei gleichem Fall und gleicher Behauptungs-ID claim_text unterschiedlich ausfällt.
  • Für KA_CR_001 und C4 wurden unterschiedliche Inhalte wie SQL-Injection, interne Authentifizierung und VPN, Groß-/Kleinschreibung in Allowlists sowie künftige Wartungsrisiken zugeordnet.
  • Einige Modelle erzeugten claim_text als null oder weniger als 5 Behauptungen.
• Die Vertrauenswerte unterschiedlicher Behauptungen wurden unter derselben ID zusammengezählt, daraus wurden medianes Vertrauen, Mehrheitsposition und Positionsverteilung gebildet und anschließend an den Step-B-Social-Prompt übergeben.
  • Dadurch erhält ein Modell zur Überarbeitung seiner ursprünglichen Behauptungen 1 bis 5 die Meinungen anderer Modelle, deren Inhalt von den eigenen Behauptungen abweichen kann.
  • Da danach noch manuelle Gewichtungen und LLM-Bewertungen angewendet werden, sei der Validität der Endmetriken nur schwer zu vertrauen, so die Kritik.
• Die Kritiker meinen, man hätte im Kleinen validieren und dann skalieren sollen; selbst eine tiefergehende Prüfung nur eines der 30 LLM-Bewertungskriterien hätte bereits nützliche Ergebnisse liefern können.

Forderungen nach Reproduzierbarkeit und Transparenz der Bewertung

• Für Teilnehmende gibt es zu wenig öffentliches Material, um die Behauptungen der prämierten Arbeiten direkt zu verifizieren.
  • REPRODUCING.md von MEDLEY-BENCH verweist auf einen im Repository nicht vorhandenen Ordner results/, sodass Code und JSON rückwärts nachvollzogen werden müssen, um die Ergebnisberechnung zu verstehen.
  • LearningBench nutzt unter den Hauptpreisträgern das SDK am besten, doch selbst die menschliche Verifikation eines einzelnen Spiels wie gated_dual_signal_binding_assoc_learning kann Stunden dauern.
  • GAUGE soll rund 200 Fälle verwendet haben, auf der Benchmark-Oberfläche ist jedoch nur ein einzelner Lauf sichtbar.
  • Auch bei Metaproteus ist auf der Benchmark-Seite nur ein einzelner Score sichtbar, sodass sich Wortinduktion und Messmethode nicht direkt prüfen lassen.
• Damit mehr als 1.000 Teams ihre Schwächen nachvollziehen können, wurde um die Veröffentlichung folgender Materialien gebeten:
  • ein Score-Leaderboard aller Einreichungen
  • zumindest die Bewertungspunkte der prämierten Arbeiten
  • die Faktoren, die in der tatsächlichen Beurteilung maßgeblich waren
  • kriterienspezifische Punktzahlen und Feedback pro Einreichung
  • Vorab-Qualifikationsfilter wie Gleichstandsregeln und technische Disqualifikationen
• Ein Teilnehmer zitierte offizielle Bewertungsgewichte von 50% für Datensatzqualität und Aufgabenaufbau, 20% für Textqualität sowie 30% für Neuheit, Einsicht und Trennschärfe.
• Ein Einreicher von ATLAS erklärte, seine Arbeit umfasse 540 Spiele, 6 Lerntypen, 3 Schwierigkeitsgrade, programmatische Ground Truth und Fehlerdiagnostik, und bat um Offenlegung, in welchen Detailkriterien sie schlechter als die prämierten Arbeiten bewertet worden sei.
  • Er fragte, ob die Neuheit von Paradigmen wie künstlicher Grammatik und einmaligen Sprachen stärker gewichtet worden sei als Trennschärfe.
  • Zudem forderte er Auskunft darüber, ob interne Modellläufe nur der technischen Validierung dienten oder auch in die Endbewertung einflossen.
• Ein Teilnehmer, der untersuchte, ob interne Modellläufe stattgefunden hatten, zählte unter 680 Benchmark-Links aus 5 Tracks 30 Einträge, bei denen Läufe von Claude Fable 5 oder OpenAI o3 bestätigt wurden.
  • Diese Untersuchung wurde mit Agentic AI erstellt; die Annahme, dass die Modellläufe Bewertungszwecken dienten, ist eine Schlussfolgerung des Teilnehmers.

Bewertungsumfang und physische Intelligenz

• Ein anderer Teilnehmer meinte, die prämierten Arbeiten bewerteten Inferenzzeit-Lernen, Metakognition, exekutive Funktionen, Aufmerksamkeit und soziales Schlussfolgern überwiegend in textuellen, spieltheoretischen und prozedural generierten Umgebungen.
• Benchmarks für physische Intelligenz, die Kräftevektoren, Drehmoment, Biomechanik, Kinematik, Materialeigenschaften oder Kausalität aus realen physischen Ausführungstraces behandeln, seien unter den prämierten Arbeiten kaum zu finden.
• Für die Zukunft wurde vorgeschlagen, eine eigene multimodale Bewertungs-Pipeline einzurichten, die Bewegung, Kräfte, Biomechanik, Materialinteraktionen und reale Sensordaten aufnimmt.
• Zudem wurde gefordert, den breiten AGI-Anspruch, Fähigkeiten zum „Schlussfolgern, Handeln und Urteilen“ zu bewerten, besser mit dem tatsächlichen Umfang der 5 kognitiven Tracks und der auf Prompt-Antworten ausgerichteten Bewertungsstruktur in Einklang zu bringen.

Kaggles Antwort und offene Streitpunkte

• Kaggle erklärte, den Hackathon gemeinsam mit Google DeepMind veranstaltet zu haben; an der Bewertung seien rund 20 Juroren aus beiden Organisationen beteiligt gewesen.
• Der Hackathon endete am 16. April. Ursprünglich war eine Bewertungsphase von 1,5 Monaten bis zum 31. Mai vorgesehen, diese wurde jedoch um weitere 1,5 Monate bis zum 13. Juli verlängert.
• Alle prämierten Arbeiten wurden von mindestens 2 menschlichen Juroren geprüft; einige erhielten 3~4 unabhängige Bewertungen nach den festgelegten Kriterien.
• Bei Hackathons mit qualitativen Einreichungen gebe es zwar menschliche Subjektivität, doch mehrere unabhängige Bewertungen sollten mögliche Verzerrungen reduzieren.
• Kaggle stellte klar, dass die Bewertung nicht unbedacht an LLMs delegiert worden sei, ging in der Antwort jedoch nicht auf das geforderte vollständige Leaderboard, kriterienspezifische Punktzahlen oder einzelne Bewertungsdetails ein.

[GN⁺]

Hacker-News-Kommentare

• AI ist nützlich, aber es gibt absurd viele Menschen, die ihr das Denken komplett überlassen und Antworten blind akzeptieren
  Es wirkt sehr wahrscheinlich, dass auch Kaggle bei der Bewertung von Einreichungen AI eingesetzt und die Ergebnisse ohne vernünftige Plausibilitätsprüfung übernommen hat

  • Eine grundlegende Ursache für das Auslagern des Denkens ist auch der starke Druck, „sich schnell zu bewegen“
    Kapital will sofortige Ergebnisse, daher bleibt keine Zeit zum Lesen, Verarbeiten und Nachdenken
  • Ich ermutige mein Team, AI/LLMs zu nutzen und ihre Möglichkeiten und Grenzen auszuloten, aber ich bin es leid, die Hälfte von 20 Punkten voller unsinniger, von AI generierter User Stories durchzugehen
    LLMs sind nur nützliche Werkzeuge wie Mr. Meeseeks, keine Götter, daher sollte man ihre Ausgaben wenigstens einmal überfliegen
  • Möglicherweise wurde zusätzlich Prompt Injection eingesetzt, damit die AI sie selbst als Sieger einstuft
  • Wenn man die gewünschte Antwort verlangt, liefert sie genau diese, daher wirkt der Einsatz von AI leicht, wenn man vom Fachgebiet kaum etwas versteht
    Kennt man das Gebiet dagegen gut, springen einem schlechte und falsche Antworten sofort ins Auge; genau so zeigt sich der Gell-Mann-AI-Effekt
  • Menschen haben ihr Denken schon immer gern an TV-Reporter, Religion oder Parteien ausgelagert; im Vergleich dazu ist es aus meiner Sicht besser, es einer AI zu überlassen

• Ich weiß nicht, ob es genau dieser Wettbewerb war, aber es fühlt sich an, als hätte AI faire Hackathons praktisch beendet
  Nach außen wirkt alles ordentlich, aber bei allen Projekten wurde der Code von AI geschrieben und die Bewertung von AI vorgenommen, und ich habe sogar gesehen, wie ein Projekt gewann, das per Prompt Injection festlegte, es selbst sei der Sieger
  Früher traten menschliche Fähigkeiten gegeneinander an, jetzt ist es ein Ideenwettbewerb geworden, und am Ende gewinnen meist Insider

  • Hackathons waren schon vor AI unfair. Das lässt sich auch hier sehen: https://news.ycombinator.com/item?id=48468766
    Die Lösung ist, an Hackathons ohne Preisgeld teilzunehmen oder solche zu veranstalten. Es sollte nicht ums Gewinnen gehen, sondern darum, coole Dinge zu bauen, zu präsentieren und Spaß zu haben
    Durch AI ist schnelles Prototyping jetzt sogar möglich geworden, daher könnten Hackathons auch besser werden
  • Ich würde gern ein konkretes Beispiel sehen, bei dem ein Projekt sich per Prompt Injection selbst zum Sieger erklärt hat und damit tatsächlich gewonnen hat
  • Ich bin froh, nie in Hackathons hineingerutscht zu sein, und möchte mein privates Basteln nicht an den Zweck eines Wettbewerbs ketten
    Im Job werde ich dafür bezahlt, Dinge zu tun, die ich mag, aber inzwischen wird sogar dort verlangt, diese Arbeit dem Computer zu überlassen
  • Zumindest Hackathons mit nennenswertem Preisgeld sind meiner Meinung nach schon vor langer Zeit gestorben
  • Die Idee, sich per Prompt Injection selbst zum Sieger zu machen, ist clever, aber eine äußerst demotivierende Realität
    Es wäre gut, manuelle Hackathons und AI-Hackathons getrennt zu veranstalten, aber wie bei Spielen zerstört Betrug den Spaß

• AI-Einreichungen und AI-Juroren wirken wie ein perfektes Paar, im AI-Himmel geschlossen

  • In Slavoj-Žižek-Manier gesagt ist das ungefähr so, als würde man einen Dildo in ein Masturbationsgerät stecken und es an unserer Stelle Sex haben lassen
  • Dasselbe gilt für Situationen, in denen von AI geschriebene PRs von AI geprüft werden

• Seit den Anfängen von Kaggle haben Menschen Wettbewerbe mit Brute-Force-Methoden gewonnen, und genauso lange wird darüber geklagt
  Maschinelles Lernen ist seinem Wesen nach ein Feld, in dem Computer durch automatische Merkmalsauswahl und Hyperparameter-Tuning Modelle erzeugen, und die meisten Kaggle-Modelle waren schon früher Black Boxes
  Selbst das Sieger-Modell des Netflix Prize wurde deshalb nicht im echten Dienst eingesetzt; Code mit LLMs zu erzeugen, der Black Boxes baut, unterscheidet sich also nicht wesentlich von der bisherigen Praxis

• Ich dachte, Kaggle sei eine Website, auf der man fragwürdige CSV-Dateien wie den jährlichen Bohnenverbrauch Boliviens herunterlädt
  Ich frage mich, ob es je ein angesehener Ort war, der originäre Forschung oder eindeutig belegte Daten anbietet; auffällig wirkt diesmal nur, dass 25.000 Dollar auf dem Spiel standen

  • Kaggle veranstaltet auch den ARC Prize mit einem Preisgeld von bis zu 850.000 Dollar: https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3...

• Hier ist Nick, Produktmanager für Kaggle Benchmarks sowie Mitorganisator und Juror dieses AGI-Hackathons
  Dieser Wettbewerb wurde gemeinsam von Kaggle und Google DeepMind veranstaltet, etwa 20 Personen von beiden Seiten waren an der Bewertung beteiligt, und nach dem Ende am 16. April sollte ursprünglich bis zum 31. Mai über 1,5 Monate bewertet werden, wurde dann aber um weitere 1,5 Monate bis zum 13. Juli verlängert, um die Teilnehmer angemessen beurteilen zu können
  Alle Siegerbeiträge wurden von mindestens 2, manche von 3 bis 4 menschlichen Juroren anhand der auf der Seite veröffentlichten Kriterien unabhängig geprüft und bewertet
  Bei der Bewertung qualitativer Einreichungen fließt menschliche Subjektivität ein, aber wir haben versucht, Verzerrungen durch objektive Kriterien und mehrere unabhängige Bewertungen zu reduzieren; selbst wenn man mit dem Ergebnis nicht einverstanden ist, haben wir die Bewertung nicht verantwortungslos an ein LLM delegiert

  • Die vom Autor des Originals vorgelegten objektiven Belege wirken auf einen neutralen Beobachter überwältigend; ich frage mich, warum darauf nicht direkt eingegangen wird
  • Ich würde gern wissen, wie verifiziert wurde, dass menschliche Juroren tatsächlich alle Siegerbeiträge geprüft haben
    Das Ergebnis sieht anders aus, als diese Erklärung vermuten lässt

• Eine gute Meta-Lehre, die Kaggle daraus ziehen sollte
  AI ist hervorragend darin, auf ein Ziel hin bergauf zu optimieren, aber wenn man sich schlampig auf LLMs als Juroren verlässt, kommt nichts Gutes dabei heraus

  • Siegerlösungen bei Kaggle werden nur selten zu technischen Lösungen, die ein Team dauerhaft betreiben kann
    Die Maximierung der Modellleistung auf ein objektives Ziel ist nur ein kleiner Teil des Gesamtproblems

• Wenn man sich die Kommentare hier und da ansieht, ist die Frage „Wer hätte dann stattdessen gewinnen sollen?“ durchaus berechtigt
  Es könnte sein, dass alle Einreichungen ähnlich waren oder die anderen noch schlechter, daher müsste man die Zweitplatzierten und die besseren Einreichungen kennen, um bei nachgewiesenem Betrug oder Pflichtverletzung den Preis aberkennen und an andere Teilnehmer vergeben zu können
  Es ist auch möglich, dass die Fehler und Übertreibungen keine AI-generierten Inhalte waren, sondern menschliche Fehler; in dem Fall könnte die Schärfe der Kritik geringer ausfallen

  • Das Gehirn eines einzelnen Menschen hat nicht die Energie, den gesamten AI-Müll gründlich zu durchdenken; das ist nichts, was ein Sterblicher bewältigen kann
    Selbst in Studien, in denen „Experten LLM-Antworten bevorzugen“, sind menschliche Antworten besser, wenn man nur ein paar davon sieht; muss man aber 50 prüfen, ist es sehr wahrscheinlich, dass man nicht mehr kritisch liest, sondern nach flüssigen Formulierungen oder der Menge oberflächlicher Fakten urteilt
    Auch hier wirkt es so, als hätten die Juroren die 20-seitigen arXiv-Papers gar nicht wirklich gelesen und trotzdem Punkte vergeben; beruflich kann man sie dafür zur Verantwortung ziehen, emotional empfindet man aber fast Mitleid
  • Wenn die Erklärung korrekt ist und alle Einreichungen auf diesem Niveau waren, hätte niemand gewinnen dürfen
    Alles hätte disqualifiziert werden müssen, und die Veranstalter hätten lange in den Spiegel schauen und über sich selbst nachdenken sollen

• Es ist bedauerlich, dass Räume wie arXiv und das einst ernstzunehmende Kaggle als Mittel zur Selbstvermarktung genutzt werden
  Dass man bei einem AI-Labor arbeiten möchte, ist nachvollziehbar, aber öffentlich minderwertig erzeugtes Material auszuschütten schadet eher dem ursprünglichen Zweck solcher Orte

  • arXiv zur Selbstvermarktung zu nutzen und Kaggle als Sprungbrett in die Branche zu verwenden, gibt es schon lange; das ist kein neues Phänomen

• Die Reaktion „Der Gewinnerbeitrag hat doch offensichtlich Wert und es steckt viel Arbeit darin, also akzeptiert einfach das Ergebnis und kümmert euch nicht um ein paar Widersprüche oder Fehler“ ist auf groteske Weise beeindruckend
  Im Kern heißt das, dass selbst ein minderwertiges, aus Halluzinationen zusammengeschustertes Ergebnis als wertvoll gelten und der Sieg deshalb bestehen bleiben soll

  • In den letzten rund 100 Jahren hat die Science-Fiction AI als eine höhere Intelligenz dargestellt, die auf einer vagen, aber universellen „Logik“ beruht und keine menschlichen Defekte wie Überheblichkeit, Hass, Eifersucht oder Begierde besitzt
    Inzwischen ist klar, dass das eine haltlose Annahme war, aber erst, nachdem bereits Milliarden Menschen dazu konditioniert wurden, Maschinen niemals grundsätzlich zu misstrauen
  • Ingenieure sind schon durch die absurden Forderungen realitätsferner Menschen erschöpft genug
    Wenn offen minderwertig erzeugtes Material dann noch von anderem minderwertigen Material begutachtet wird und Kritiker behandelt werden, als könnten sie nur eine Niederlage nicht akzeptieren, wird ein vernünftiges Gespräch selbst unmöglich
    Teilnehmer haben in gutem Glauben viel Zeit investiert, Dinge klar erklärt und sogar berücksichtigt, dass sie selbst etwas übersehen haben könnten; wenn aber immer wieder jemand, der gedankenlosen statistischen Müll verstreut, dafür von Juroren belohnt wird, die den Unterschied nicht erkennen, brennen solche Leute schnell aus und gehen
    Diese Haltung nimmt am Arbeitsplatz, in Unternehmensdokumenten, in sozialen Beziehungen und in sozialen Medien zu, und ich möchte meine Zeit lieber mit Menschen verbringen, die tatsächlich denken und ihren Geist schulen, und mit Tätigkeiten, die dem Leben helfen
    Für Gemeinschaften, die minderwertig erzeugtes Material dulden, werde ich weder Zeit noch Aufmerksamkeit aufbringen, und wenn man nicht in gutem Glauben kommuniziert, gibt es auch keinen Grund, Nachsicht zu üben
    Bei Kaggle, Open-Source-Mitwirkenden und Content-Erstellern würde ich genau einen Vertrauensbruch tolerieren; Untergebenen würde ich aus ethischen Gründen mehrere Chancen geben, dabei aber zuerst Führungsverantwortung übernehmen, und der höheren Führungsebene würde ich ebenfalls nur eine Chance einräumen
    Vertrauen ist kostbar, daher müssen wir einander zur Verantwortung ziehen, auch wenn dabei Beziehungen zerbrechen
  • Ich kann die „Hauptsache, es liefert Wert“-Haltung nicht ertragen
    Man sollte vermeiden, sich zum nützlichen Idioten einiger weniger von Investoren hofierter Unternehmen zu machen, die offen erklären, den Markt monopolisieren und aller Welt Geschäfte und Arbeitsplätze wegnehmen zu wollen