- CAPTCHA ist weiterhin ein weit verbreitetes Mittel zur Bot-Abwehr, doch wenn man reale Deployments und die Nutzererfahrung zusammen betrachtet, gerät das Gleichgewicht zwischen Sicherheit und Usability deutlich ins Wanken
- In einer Untersuchung von 200 populären Websites und einer MTurk-Nutzerstudie war klickbasiertes reCAPTCHA mit einem Median von 3,7 Sekunden am schnellsten, während spielbasierte, sliderbasierte und schwierige hCAPTCHA-Varianten tendenziell länger dauerten
- Das schnellste CAPTCHA ist nicht immer auch das beliebteste: spielbasierte und sliderbasierte Varianten wurden teils relativ gut bewertet, obwohl ihre Lösungszeit länger war
- In einer kontextualisierten Konfiguration, bei der CAPTCHAs in den Account-Erstellungsablauf eingebettet waren, stieg die durchschnittliche Lösungszeit gegenüber dem direkten Lösen um bis zu 57,5 %, und auch die Abbruchrate war höher
- Mit zunehmendem Alter stieg bei den meisten CAPTCHAs die Lösungszeit, und im Vergleich mit früherer Forschung zur Bot-Performance zeigten sich bei mehreren Typen Fälle, in denen Bots schneller und genauer als Menschen waren
Warum CAPTCHA erneut auf den Prüfstand kommt
- CAPTCHA wird seit rund 20 Jahren breit zur Bot-Abwehr eingesetzt, doch auch Verfahren zu seiner Umgehung oder automatischen Lösung haben sich stetig weiterentwickelt
- Frühe CAPTCHAs bestanden meist daraus, verzerrten Text aus einem Bild zu lesen und einzugeben; mit Fortschritten in Computer Vision und Machine Learning gab es bereits 2014 Fälle, in denen Automatisierungstools mehr als 99 % Genauigkeit erreichten
- Heute gibt es CAPTCHAs in vielen Formen
- objektbasierte Erkennung: „Wähle die Kacheln mit dem betreffenden Objekt“
- verzerrter Text
- Puzzle-Formen: „Block verschieben“
- verhaltensanalytische Verfahren auf Basis des Nutzerverhaltens
- Diese Studie betrachtet unveränderte CAPTCHAs, wie sie im realen Web eingesetzt werden
- manuelle Untersuchung von 200 populären Websites
- Hauptnutzerstudie mit 1.000 Personen auf MTurk
- zusätzliche MTurk-Studie zur gesonderten Betrachtung der Abbruchrate
- vollständig anonymisierter Datensatz und Analysecode öffentlich: captcha-study
Verteilung von CAPTCHAs auf 200 populären Websites
- Auf Basis der Alexa-Top-Websites wurden die Top 200 manuell untersucht
- 185 Websites hatten einen Ablauf zur Account-Erstellung
- auf 142 Websites war eine tatsächliche Account-Erstellung möglich
- jede Website wurde jeweils im Chrome-Inkognito-Modus und im Tor Browser besucht
- Bei den beobachteten CAPTCHA-Typen fiel vor allem die Dominanz von reCAPTCHA auf
- reCAPTCHA: 68 Websites, 34 % der untersuchten Seiten
- sliderbasierte CAPTCHAs: 14 Websites, 7 %
- verzerrte Text-CAPTCHAs: 14 Websites, 7 %
- spielbasierte CAPTCHAs: 9 Websites, 4,5 %
- hCAPTCHA: 1 Website
- unsichtbare CAPTCHAs: 12 Websites, 6 %
- Sonstiges: CAPTCHA ähnlich einem Rubbel-Los, CAPTCHA zum Finden chinesischer Zeichen in Bildern, NuCaptcha usw.
- Der Untersuchungsrahmen hat klare Grenzen
- wegen der manuellen Untersuchung wurden nur die Top 200 Websites einbezogen
- da nicht alle Funktionen ausgeführt wurden, könnte die tatsächliche Zahl eingesetzter CAPTCHAs höher sein
- die Ergebnisse hängen vom Website-Ranking und CAPTCHA-Status zu einem bestimmten Zeitpunkt ab
- CAPTCHAs auf Spezialseiten wie im Dark Web wurden nicht berücksichtigt
- Im BuiltWith-Datensatz mit 673 Millionen Websites entfielen unter 15,2 Millionen Websites mit CAPTCHA-Nutzung 97,3 % auf reCAPTCHA und 1,4 % auf hCAPTCHA
- die in der Studie verwendeten CAPTCHA-Typen decken gemessen an diesem großen Datensatz mehr als 98 % ab
Aufbau der Nutzerstudie
- Die Hauptnutzerstudie wurde auf MTurk mit 1.000 Personen durchgeführt; die Teilnehmenden lösten 10 CAPTCHAs in zufälliger Reihenfolge
- Der Ablauf bestand aus vier Schritten
- Einführung in die Studie
- Vorab-Fragen: Erhebung demografischer Informationen
- CAPTCHA-Lösungsaufgaben
- Nachbefragung: Fragen etwa zu Präferenzen für das gerade gelöste CAPTCHA
- Insgesamt kamen 10 CAPTCHA-Typen zum Einsatz
- 2 Varianten von reCAPTCHA v2: die für Nutzer einfachste Konfiguration, die sicherste Konfiguration
- 2 spielbasierte Varianten von Arkose Labs: Objekt drehen, Objekt in korrekter Ausrichtung auswählen
- 2 Varianten von hCAPTCHA: einfache Konfiguration, schwierige Konfiguration
- 1 Geetest-Slider-CAPTCHA
- 3 verzerrte Text-CAPTCHAs: einfache Form, maskierte Form, bewegter Text
- Zum Vergleich des Versuchskontexts wurden zwei Konfigurationen verwendet
- direkte Konfiguration: Den Teilnehmenden wurde mitgeteilt, dass es sich um eine Studie zum Lösen von CAPTCHAs handelt, und ihnen wurden 10 CAPTCHAs direkt präsentiert
- kontextualisierte Konfiguration: Den Teilnehmenden wurde gesagt, es handle sich um eine Studie zur Account-Erstellung, und nach dem Absenden jedes Registrierungsformulars erschien ein CAPTCHA
- In der kontextualisierten Konfiguration wurden zur Vermeidung personenbezogener Datenerhebung synthetische Angaben bereitgestellt; der tatsächliche Zweck wurde nach Abschluss der Aufgabe offengelegt
- dieses Vorgehen erhielt IRB-Genehmigung, ebenso die Dokumente zur unvollständigen Offenlegung und zur Änderung der Einwilligung
- Daten von Teilnehmenden, die nach Offenlegung des Zwecks der Datennutzung nicht zustimmten, wurden nicht erhoben
- Die Vergütung betrug anfangs 0,30 US-Dollar für die direkte Konfiguration und 0,75 US-Dollar für die kontextualisierte Konfiguration
- nachdem sich mediane Abschlusszeiten von 4,4 Minuten bzw. 11,5 Minuten gezeigt hatten, wurde sie rückwirkend auf 0,60 US-Dollar und 1,50 US-Dollar erhöht
Unterschiede bei Lösungszeit und Präferenz
- Die Lösungszeiten unterschieden sich je nach CAPTCHA-Typ deutlich
- klickbasiertes reCAPTCHA war mit einem Median von 3,7 Sekunden am schnellsten
- der Unterschied zwischen einfacher und schwieriger Konfiguration war gering
- das einfache verzerrte Text-CAPTCHA wurde unter den verzerrten Textvarianten am schnellsten gelöst
- die Lösungszeiten der maskierten und der bewegten Textvariante waren ähnlich
- bei hCAPTCHA war der Unterschied zwischen einfacher und schwieriger Konfiguration klar; die schwierige Variante zeigte anspruchsvollere Bildaufgaben oder mehr Runden
- spielbasierte und sliderbasierte CAPTCHAs hatten insgesamt eher hohe mediane Lösungszeiten, wurden von einigen Teilnehmenden aber dennoch in unter 10 Sekunden gelöst
- Die Nutzerpräferenzen entsprachen nicht vollständig den Lösungszeiten
- klickbasiertes reCAPTCHA war am schnellsten und zugleich am beliebtesten
- spielbasierte und sliderbasierte Varianten dauerten länger, erhielten aber dennoch hohe Präferenzwerte
- selbst das am höchsten bewertete CAPTCHA, klickbasiertes reCAPTCHA, bekam von 18,9 % der Teilnehmenden nur 1 oder 2 Punkte
- selbst hCAPTCHA mit der insgesamt niedrigsten Präferenz erhielt von mehr als 31,0 % 4 oder 5 Punkte
Unterschiede durch den Versuchskontext
- Beim Vergleich von direkter und kontextualisierter Konfiguration zeigte sich bei den meisten CAPTCHAs eine höhere durchschnittliche Lösungszeit in der kontextualisierten Konfiguration
- bei der einfachen klickbasierten reCAPTCHA-Variante stieg die durchschnittliche Lösungszeit um 1,8 Sekunden, also um 57,5 %
- bei der Arkose-Rotationsvariante stieg sie um 10 Sekunden, also um 56,1 %
- über alle CAPTCHA-Typen hinweg lag der Anstieg in der kontextualisierten gegenüber der direkten Konfiguration im Mittel bei 26,7 %
- die schwierige hCAPTCHA-Konfiguration hatte insgesamt die höchste mediane Lösungszeit, doch der Unterschied der durchschnittlichen Lösungszeit zwischen beiden Konfigurationen war nicht signifikant
- Im Kruskal-Wallis-Test waren die Unterschiede der durchschnittlichen Lösungszeit für alle CAPTCHA-Typen außer Geetest, bildbasiertem reCAPTCHA und der schwierigen hCAPTCHA-Konfiguration statistisch signifikant
- Zwischen den beiden Konfigurationen blieben mehrere potenzielle Störfaktoren bestehen
- Teilnehmende in der kontextualisierten Konfiguration mussten mehr Aufgaben ausführen
- Unterschiede bei Vergütung und Wahrnehmung des Aufgabenabschlusses könnten Motivation oder Abbruchwahrscheinlichkeit beeinflusst haben
Demografie, Genauigkeit und Abbruchrate
- Das Alter stand mit der CAPTCHA-Lösungszeit in Zusammenhang
- bei allen Typen außer der einfachen bildbasierten reCAPTCHA-Variante zeigten jüngere Teilnehmende tendenziell niedrigere durchschnittliche Lösungszeiten
- frühere Studien berichteten bei textbasierten CAPTCHAs einen Anstieg von 0,03 Sekunden pro Lebensjahr, in dieser Studie lag der Mittelwert über alle CAPTCHA-Typen bei 0,09 Sekunden pro Jahr
- Beim Bildungsniveau und Geschlecht wurden keine großen Unterschiede in den Lösungszeiten beobachtet
- frühere Forschung hatte berichtet, dass Teilnehmende mit PhD schneller lösen als andere Bildungsgruppen, in dieser Studie korrelierte das selbst angegebene Bildungsniveau jedoch nicht mit der Lösungszeit
- Beim Gerät und der Eingabemethode gab es einige Unterschiede
- Computernutzer hatten niedrigere durchschnittliche Lösungszeiten als Smartphone-Nutzer bei verzerrten Text-CAPTCHAs und der schwierigen klickbasierten reCAPTCHA-Variante
- zwischen physischer Tastatur und Touch-Eingabe gab es bei einfachen und maskierten verzerrten Texten, klickbasiertem reCAPTCHA und der Arkose-Auswahlvariante statistisch signifikante Unterschiede
- Der Genauigkeitsvergleich zeigte je nach Typ deutliche Unterschiede
- Genauigkeit der reCAPTCHA-Bildklassifikation: 81 % in der einfachen Konfiguration, 81,7 % in der schwierigen Konfiguration
- Genauigkeit von hCAPTCHA: 81,4 % in der einfachen Konfiguration, 70,6 % in der schwierigen Konfiguration
- bei verzerrtem Text stieg die Übereinstimmungsrate zwischen Teilnehmenden im Mittel um 20 %, wenn Groß- und Kleinschreibung ignoriert wurde
- einfache Form: von 84 % auf 93 %
- maskierte Form: von 50 % auf 73 %
- bewegte Textform: von 62 % auf 90 %
- Im Vergleich mit der in der Literatur berichteten Bot-Performance lieferten Bots bei mehreren CAPTCHA-Typen schnellere und genauere Ergebnisse als Menschen
- klickbasiertes reCAPTCHA: Menschen 3,1–4,9 Sekunden, Bots 1,4 Sekunden und Fälle mit 100 % Genauigkeit
- Geetest: Menschen 28–30 Sekunden, Bots 5,3 Sekunden und Fälle mit 96 % Genauigkeit
- verzerrter Text: Menschen 9–15,3 Sekunden und 50–84 % Genauigkeit, Bots unter 1 Sekunde und Fälle mit 99,8 % Genauigkeit
- bildbasiertes reCAPTCHA: Menschen 15–26 Sekunden und 81 % Genauigkeit, Bots 17,5 Sekunden und Fälle mit 85 % Genauigkeit
- hCAPTCHA: Menschen 18–32 Sekunden und 71–81 % Genauigkeit, Bots 14,9 Sekunden und Fälle mit 98 % Genauigkeit
- In einer separaten Studie zur Abbruchrate stiegen 18–45 % der Teilnehmenden nach der Präsentation des ersten CAPTCHAs aus der Studie aus
- Teilnehmende in der kontextualisierten Konfiguration hatten eine um 120 % höhere Wahrscheinlichkeit abzubrechen als Teilnehmende in der direkten Konfiguration
- wenn Nutzer wegen CAPTCHA eine Aufgabe abbrechen, kann das auf Websites zu verlorenen Aktivitäten wie Käufen oder Account-Erstellungen führen
1 Kommentare
Meinungen auf Hacker News
Ich denke, Google CAPTCHA wurde als Mechanismus zum Trainieren von KI entworfen und ausgerollt, und deshalb hat es heute diese Form.
Das Sicherheits-Theater drumherum ist eher nebensächlich, und es ist nicht überraschend, dass KI es inzwischen gut lösen kann. Wir haben sie jahrelang genau darauf trainiert.
Zumindest erzeugt es Kosten für Angreifer.
Der Kern ist Verhaltensanalyse, einschließlich der Einschätzung, wie wahrscheinlich jemand ein Bot ist, anhand von Daten, die Google schon gesammelt hat, bevor der Nutzer die Seite lädt.
Ich bestreite nicht, dass reCAPTCHA eine Quelle für Trainingsdaten von Google ist. Es kann kaum keinen besonderen Grund haben, dass die reCAPTCHA-V2-Aufgaben ständig Verkehrsobjekte identifizieren lassen, und es ist ja nicht so, als würde Google KI für autonomes Fahren bauen.
Aber das ist das Geschäftsmodell, nicht die Kernfunktion, und diese Trainingsdaten werden auch nicht einfach den Entwicklern von CAPTCHA-Lösebots gegeben.
Im Moment überlässt man das Filtern Diensten wie Cloudflare, aber wenn dieses Training so weitergeht, frage ich mich, wie selbst Cloudflare noch Bots von Menschen unterscheiden soll.
Ich habe oft gesehen, dass Google CAPTCHA richtige Antworten ablehnt; das könnte das Ergebnis davon sein, dass Bots darauf trainiert wurden, falsche Antworten zu akzeptieren.
Immerhin sind es jetzt keine Stoppschilder mehr. Es wäre ziemlich peinlich gewesen, wenn Google einerseits „selbstfahrende“ Autos verkauft und gleichzeitig gezeigt hätte, dass Roboter Stoppschilder nicht erkennen können.
Diese Studie scheint mehrere Aspekte davon zu behandeln, wie Menschen CAPTCHAs lösen, aber ich habe nichts dazu gefunden, dass KI Menschen übertrifft. Weiß jemand, in welchem Abschnitt das steht?
reCAPTCHA v2/v3 zu lösen erfordert mehr als nur das Anklicken einer Checkbox und Bildrätsel. Wenn es nur das wäre, wäre der Aufschrei längst groß.
Dass CAPTCHAs zum Trainieren von KI dienen, ist im weiteren Sinne richtig, aber bei der Funktionsweise moderner CAPTCHAs würde ich das eher als Nebeneffekt sehen.
Dinge wie reCaptcha V2+ überwachen Verhaltensanalysen wie Browserverlauf oder Mausbewegungen auf der Seite. Deshalb müssen die meisten Menschen einfach nur die Checkbox anklicken.
Ich bin mir auch nicht sicher, ob es große multimodale Modelle gibt, die Mausbewegungen als Eingabeformat einbeziehen.
Auch KI, die dafür entwickelt wurde, CAPTCHAs zu knacken, kann die Daten von Google und anderen nicht zum Training verwenden. Wenn die Sorge ist, dass Google seine eigenen Bots darauf trainiert, CAPTCHAs zu umgehen, wäre das nicht unmöglich, aber ...
Der Titel ist ziemlich clickbaitig, und leider funktionieren solche Titel auf HN gut.
Ich glaube, der nächste Schritt bei der Registrierung irgendwo wird künftig eine Zahlungskarten-Verifizierung sein.
Wahrscheinlich wird man Prepaid-BINs von vornherein blockieren. Das wäre ziemlich furchtbar, aber inzwischen fühlt es sich so an, als würde ich lieber 0,01 Dollar zahlen, als ein CAPTCHA zu lösen; irgendetwas ist also nötig.
Besonders „Wählen Sie alle Fahrräder aus“ ist reine Lebenszeitverschwendung.
Ich kaufe weniger Dinge und nutze weniger Social Media. Spaziergänge in der Natur und Papierbücher haben keine CAPTCHAs.
Damit es in jedem Browser funktioniert, könnte es etwa so laufen: Man scannt einen QR-Code mit einem iPhone oder Android-Gerät, das Attestierung unterstützt, wird gefragt, ob man den Login genehmigen will, und das Gerät bestätigt es stellvertretend.
Wenn sich jemand als böswilliger Akteur herausstellt, kann die Website dieses Gerät sperren, sodass es auch schwierig wird, von einem einzelnen Gerät aus Massenangriffe zu fahren.
Bei UPI bekommt man einen QR-Code oder gibt eine UPI-ID ein, drückt auf Bezahlen, und fertig.
Wenn man sich um „Betrugsprävention“ sorgt, sollte man das meiner Meinung nach mit der Bank, dem Verkäufer und den Gerichten klären, statt sich auf Vermittler wie eBay oder Kartenanbieter zu verlassen.
Ich erinnere mich noch, dass ich früher, als ich in {Country} lebte, überhaupt keinen Zugang zu Karten hatte, die für internationale Zahlungen akzeptiert wurden.
Hat HN jemals ein CAPTCHA verlangt? Mit einfachen, aber bewährten Betriebs- und Anti-Spam-Tools sowie Rate-Limits, die alles außer sehr hartnäckigen DDoS-Angriffen abwehren, scheint es ziemlich gut durchzuhalten.
Auch für Scraping oder Third-Party-Clients scheint es keine absurden Beschränkungen zu geben.
Trotzdem verarbeitet es 5 Millionen monatliche Unique Visitors und 10 Millionen Aufrufe pro Tag[0].
[0] https://news.ycombinator.com/item?id=33454140
Man kann im Grunde nur Spam posten, was für Angreifer kaum echten finanziellen Wert hat, und die Tools zum Umgang damit gibt es, wie gesagt, seit Jahrzehnten.
Das ist etwas völlig anderes als bei anderen Websites, bei denen die Aussicht, Geld zu verdienen, viel klarer und direkter ist.
Ich bin mir nicht sicher, warum sie unbedingt mit nur wenigen Maschinen arbeiten wollen. Geld dürfte genug da sein, und allein der PR-Effekt für YC würde den Unterschied wohl ausgleichen.
CAPTCHAs sind wegen ihrer Mehrdeutigkeit und wegen Problemen mit nicht vollständig geladenen Bildern extrem mühsam.
Selbst wenn man eine Minute wartet, erscheinen manche Bilder am Ende gar nicht. Und wenn sie erscheinen, gibt es viel zu viele Fotos von Fahrrädern, Motorrädern und Zebrastreifen.
Ich bin immer unsicher, ob ich klicken soll, wenn ein winziges Stück knapp in eine andere Kachel hineinragt. Man kann auch nicht nur das eine nicht geladene Bild neu laden, und wenn man aktualisiert, scheint man meistens wieder ganz von vorn anzufangen.
Wie andere schon gesagt haben, kommt es bei Tor häufig vor, dass CAPTCHA gar nicht lädt. Es zeigt keine Bilder an und bleibt einfach hängen. Normale Websites funktionieren über Tor im Allgemeinen gut, daher scheint es ein Problem auf CAPTCHA-Seite zu sein.
Schon vor 7 Jahren wurde das so vorhergesagt: „Wie werden Maschinen die Kontrolle übernehmen? Wenn CAPTCHAs so schwierig werden, dass nur noch KI sie lösen kann, werden Menschen vollständig aus dem Internet ausgesperrt.“ https://twitter.com/lapcatsoftware/status/771857826130034688
CAPTCHAs der Form „Welche Buchstaben stehen in diesem Bild?“ sind eine Zeit lang stark zurückgegangen, und ein Grund dafür dürfte zum Teil genau das gewesen sein.
Der eingereichte Titel lautete „AI bots are now outperforming humans in solving CAPTCHAs“ und verstieß damit gegen die HN-Titelregel: „Wenn er nicht irreführend oder Clickbait ist, den Originaltitel verwenden und nicht redigieren.“
Wenn der Einreicher sagen möchte, welchen Punkt er am Artikel für wichtig hält, kann er das als Kommentar im Thread tun. Dann steht diese Ansicht auf derselben Ausgangsbasis wie die der anderen: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang
Der Titel wurde irreführend geändert. Im tatsächlichen Titel und Abstract steht nicht, dass KI Menschen „jetzt“ übertrifft.
Der tatsächliche Titel lautet An Empirical Study & Evaluation of Modern CAPTCHAs.
Seit fast 20 Jahren werden CAPTCHAs breit als Schutzmaßnahme gegen Bots eingesetzt, und mit zunehmender Nutzung haben sich auch Techniken zu ihrer Überwindung oder Umgehung weiterentwickelt.
Gleichzeitig haben sich CAPTCHAs in Raffinesse und Vielfalt weiterentwickelt und sind dadurch nicht nur für Bots, sondern auch für Menschen immer schwerer zu lösen geworden.
Da dieses langjährige Wettrüsten weitergeht, ist es wichtig zu untersuchen, wie lange normale Nutzer zum Lösen moderner CAPTCHAs brauchen und wie sie diese wahrnehmen.
Diese Studie bewertete CAPTCHAs, die tatsächlich im Einsatz sind, ohne sie zu verändern, mittels manueller Untersuchung beliebter Websites und einer Nutzerstudie.
1.400 Teilnehmende lösten insgesamt 14.000 CAPTCHAs, wobei sich zwischen den beliebtesten Typen große Unterschiede zeigten.
Interessanterweise korrelierten Lösungszeit und Nutzerwahrnehmung nicht immer miteinander.
Außerdem wurde der Unterschied verglichen zwischen dem direkten Lösen eines CAPTCHA und dem Lösen als Teil einer natürlicheren Aufgabe wie dem Erstellen eines Kontos; obwohl es mehrere Störfaktoren gab, kann der experimentelle Kontext Einfluss haben und sollte in künftigen Studien berücksichtigt werden.
Abschließend wurden Teilnehmende analysiert, die eine Aufgabe begonnen, aber nicht abgeschlossen hatten, um auch das Phänomen zu untersuchen, dass Nutzer wegen CAPTCHA Aufgaben abbrechen.
Solche Papers übersehen, dass es bei CAPTCHAs mehrere Schwierigkeitsstufen gibt.
Wer ein Enterprise-Konto nutzt oder eng mit einem CAPTCHA-Anbieter zusammenarbeitet, sieht sehr andere Ergebnisse.
Viele CAPTCHA-Anbieter entscheiden heute im schwierigen Modus anhand dessen, welche CAPTCHAs große Sprachmodelle nicht lösen können, welche CAPTCHA-Aufgaben sie ausspielen.
Der Grund, warum CAPTCHAs nicht absichtlich zu schwer gemacht werden, ist, dass Anbieter wie pex.com sie für die Durchsetzung von Urheberrechten umgehen können müssen.
Ich weise darauf hin, dass ich als Gründer von hcaptcha voreingenommen bin.
Die neueren CAPTCHA-Varianten, bei denen man wie bei einem Puzzle ein Objekt drehen oder gleiche Elemente finden muss, scheinen besser zu sein.
Die frühere Methode mit verzerrter Texterkennung, insbesondere wenn man entscheiden musste, ob es
i,1oderlist, war nerviger.