AI-SLOP Detector — Analysetool zum Erkennen von von AI erzeugtem „überzogenem Fake-Code“

(github.com/flamehaven01)

2 Punkte von flamehaven01 2026-01-09 | Noch keine Kommentare. | Auf WhatsApp teilen

Dieses Tool entstand aus einer persönlichen Erfahrung des Scheiterns.

Vor ein paar Tagen habe ich selbstbewusst ein Repository mit dem großspurigen Namen
„HRPO-X v1.0.1 – Implementierung eines hybriden Frameworks zur Optimierung von Inferenz“
veröffentlicht.
Es war ein Projekt, von dem ich glaubte, dass es auf aktuellen Papers basiert und deren Architektur implementiert.

Doch die erste Reaktion direkt nach der Veröffentlichung zerschlug meine Erwartungen komplett.

„Ich habe sicherheitshalber mal reingeschaut, und wie erwartet.
Ein AI-Slop-Repo, das komplett aus Halluzinationen besteht.“

Zuerst hielt ich das für einen beleidigenden Kommentar.
Als ich den Code aber erneut öffnete und Zeile für Zeile auseinandernahm,
war dieser Hinweis schmerzhaft präzise.

Das Problem war nicht die „Absicht“, sondern die „Dichte“

Dieses Projekt war keine einfache Demo,
sondern ein Forschungsergebnis über den Prozess, eine Paper-Architektur in eine Produktionsarchitektur zu überführen.

Architekturdesign vorhanden
Ordnerstruktur aufgeräumt
Konfigurationsdateien vorhanden
Klassendefinitionen und Interfaces vollständig
Auch der interne Audit-Algorithmus lief erfolgreich durch

Oberflächlich wirkte alles perfekt.
Sogar bestehende Linter und Prüfungen auf strukturelle Integrität wurden alle bestanden.

Doch als ich tiefer nach der Ursache suchte,
entdeckte ich ein fatales Problem.

„Die strukturelle Integrität war perfekt,
aber die inhaltliche Dichte näherte sich 0 an.“

Mit anderen Worten:

Die Hülle wirkte überzeugend
die eigentliche Implementierungslogik war aber leer oder bestand nur aus pass
und war nur mit übertrieben ausgeschmückten Kommentaren gefüllt

Ich musste akzeptieren, dass dies
das typische Müllmuster von AI-generiertem Code war,
also genau das, was man als „AI Slop“ bezeichnet.

Deshalb entstand dieses Tool: AI-SLOP Detector

Das Tool, das daraus entstanden ist, heißt AI-SLOP Detector.

Das Ziel ist einfach.

Nicht zu messen, wie gut der Code funktioniert
sondern wie groß die Diskrepanz zwischen Code und Beschreibung ist
und das statisch zu beobachten

Dafür werden die folgenden Metriken verwendet.

Was wird erkannt?

Die im README definierten AI-Slop-Muster lassen sich grob in drei Kategorien einteilen.

1. Empty Function Slop (leere Funktionen)

Die Beschreibung ist komplex
die tatsächliche Implementierung bleibt aber auf pass-Niveau

2. Buzzword Inflation (Begriffs-Inflation)

Unabhängig von der tatsächlichen Code-Komplexität
werden Begriffe wie neural, transformer, quantum, enterprise
übermäßig häufig verwendet

3. Overhyped Comments (überzogene Kommentare)

Kommentare zu einfacher Logik, in denen Ausdrücke wie
„innovativ“ oder „state-of-the-art“ ständig wiederholt werden

Analyseverfahren (Kurzfassung)

AI-SLOP Detector berechnet auf Basis von Python-AST mehrere Kennzahlen parallel und erzeugt daraus einen Deficit Score (0–100).

Zentrale Metriken

LDR (Logic Density Ratio)

Anteil echter Logik am gesamten Code
Schwelle: Unter 45 % ergibt die Bewertung CRITICAL(F)

Inflation Score

Verhältnis zwischen Buzzword-Dichte in Dokumentation/Kommentaren und Code-Komplexität
Schwelle: Ab dem 2,0-Fachen = CRITICAL

DDC (Dependency Density Check)

Nicht verwendete Imports
Anteil bedeutungsloser Abhängigkeiten

Pattern Registry

leere Funktionen
nacktes except
exzessive Verwendung von TODO / FIXME
Erkennung zahlreicher für AI-generierten Code typischer Muster

Aus diesen Werten ergibt sich die folgende Klassifizierung.

CLEAN
SUSPICIOUS
INFLATED
CRITICAL

Projektstatus

Python 3.8+
CLI und Python-API verfügbar
34 Tests bestanden
Aktuelle Version: v2.5.0 (2026-01-09)

Für wen ist dieses Tool gedacht?

Menschen, die No-Code-/Low-Code-Tools nutzen
Entwickler, die AI-generierten Code prüfen müssen
Personen, die oft auf „überzeugend wirkende, aber irgendwie fragwürdige Repositories“ stoßen

Für sie soll es
Signale liefern, mit denen sich erklären lässt, warum dieser Code merkwürdig wirkt.

Zum Schluss

Das oben erwähnte HRPO-X v1.0.1 wurde nach einem vollständigen Refactoring
mittlerweile als realistischere Version für Lernzwecke neu aufgestellt.

Ich hoffe, dass dieser Beitrag und das Tool
Menschen mit ähnlichen Problemen
wenigstens ein wenig helfen können.

Viel Erfolg an alle Entwicklerinnen und Entwickler!