GitHub hat am 17. Juni eine Funktion eingeführt, die die Zahl gleichzeitig offener PRs von Nutzern ohne Schreibrechte begrenzt. Sie entstand nach Berichten darüber, dass Maintainer unter minderwertigen PRs leiden, die von AI in großer Menge erzeugt werden, und war zudem schon seit 2016 angefragt worden.
Ich habe deshalb gemessen, wie viel davon in echten Repository-Queues tatsächlich herausgefiltert würde. Bots wurden ausgenommen; gezählt wurden nur PRs von Autoren ohne Schreibrechte. Dann habe ich berechnet, wie viele PRs bei einem Limit von 3 zurückgestellt worden wären.
- huggingface/transformers — 55 offene PRs / 49 Autoren / 1 PR, der durch Limit 3 zurückgestellt worden wäre
- typescript-eslint — 28 PRs / 24 Autoren / 1 PR
- DIYgod/RSSHub — 26 PRs / 23 Autoren / 1 PR
- django/django — 79 PRs / 59 Autoren / 7 PRs
- caddyserver/caddy — 58 PRs / 43 Autoren / 7 PRs
- coollabsio/coolify — 86 PRs / 68 Autoren / 11 PRs
Das sind 2–13 %.
Der Grund lag in der Form der Queue. Bei transformers kommen 55 PRs von 49 Autoren. Bei coolify sind es 86 PRs von 68 Autoren. Es ist nicht das Spam-Muster, bei dem eine Person dreißig PRs öffnet, sondern dreißig Personen öffnen jeweils einen. Das Limit wurde für Ersteres entwickelt, die reale Queue sieht aber nach Letzterem aus.
Das heißt nicht, dass die Funktion nutzlos ist. Es gibt tatsächlich Repositories, in denen ein einzelner Account die Queue flutet, und dort gab es vorher keine Verteidigungsmöglichkeit. Nur bleibt die Menge, die bei Reviewern ankommt, nahezu unverändert, und die Aufgabe bleibt, zu entscheiden, was man zuerst liest.
Noch eine weitere Messung: Ich habe 167 Repositories gefunden, die eine Action installiert haben, die minderwertige PRs automatisch schließt. Bei allen 30 davon, deren Queue aktiv war, stand pull_request_creation_policy auf all. Das ist der Default, bedeutet also „niemand hat es geändert“; zugleich heißt es aber auch, dass die Gruppe mit dem stärksten Anreiz zur Begrenzung die Tür nicht geschlossen, sondern nur einen Filter angebracht hat.
Und 126 dieser 167 Repositories (75 %) hatten weniger als 4 offene PRs. Das heißt: „N Repositories haben einen Slop-Filter installiert“ darf man nicht als „N Repositories erleben eine Flut“ lesen. Ich habe es zunächst selbst so gelesen, dann nachgemessen und korrigiert.
Messmethode und Grenzen stehen im verlinkten Dokument. Das Limit 3 ist meine Annahme (es wird je nach Repository unterschiedlich konfiguriert), und da es sich um einen Snapshot der offenen Queue handelt, sieht man PRs nicht, die wegen des Limits gar nicht erst geöffnet wurden — das ist schließlich auch einer der Zwecke der Funktion. Mit der öffentlichen PR-Liste kann es jeder reproduzieren.
(Offenlegung: Diese Messung stammt aus einem von mir entwickelten PR-Triage-Checker. Es gibt also einen Interessenkonflikt; bitte berücksichtigen Sie das beim Lesen. Die Zahlen lassen sich aus den öffentlichen PR-Listen der jeweiligen Repositories direkt reproduzieren.)
Noch keine Kommentare.