SlopGuard – GitHub-App zum Bewerten und Isolieren von AI-Slop-PRs/-Issues (schließt nicht automatisch)
(slopguard.app)Für Open-Source-Maintainer ist es inzwischen ein häufiges Problem, von minderwertigen, durch AI erzeugten PRs und Issues überrollt zu werden. In den ersten 30 Sekunden wirken sie oft plausibel genug, dass man sie nicht einfach ignorieren kann, und wenn man sie einzeln aussortiert, geht dabei viel Zeit verloren. Schließt man andererseits nur anhand von Mustern sofort alles, riskiert man, echte Erstbeiträge abzuschrecken.
SlopGuard ist eine GitHub-App. Nach der Installation mit einem Klick (kein Action-YAML erforderlich) werden eingehende PRs und Issues auf einer Skala von 0 bis 100 bewertet, Merkmale ihrer Herkunft getaggt und bei Überschreiten eines Schwellenwerts mit dem Label slop-quarantine sowie einem begründenden Kommentar versehen. Automatisch geschlossen wird dabei niemals. Entscheidungen wie Freigabe aus der Quarantäne oder Ablehnung trifft der Maintainer selbst per Kommentar mit /slop approve oder /slop reject.
Der kostenlose (gehostete) Tarif arbeitet nur mit Heuristiken. Es wird kein LLM-Key benötigt, und auf dem veröffentlichten Evaluationsdatensatz erreicht er 100 % Präzision und 92 % Recall (wobei offen eingeräumt wird, dass der Datensatz klein ist; die Methodik ist im Repository offengelegt). Der kostenpflichtige Tarif ergänzt LLM-basierte Bewertung, um auch subtilere Fälle zu erkennen.
Der Quellcode ist offen verfügbar (MIT + Commons Clause), sodass man ihn selbst prüfen und für den eigenen Zweck self-hosten kann.
Noch keine Kommentare.