Python-Bibliothek zum Umgehen virtueller Tastaturen (vKeyboard)

 (github.com/soulee-dev)
16 Punkte von soulee 2023-04-11 | 5 Kommentare | Auf WhatsApp teilen

Virtuelle Tastaturen (vKeyboard), die auf Finanz-, Behörden-Websites usw. weithin als Sicherheitsprogramm verwendet werden, sind einer der Hauptgründe, warum Crawling-Aufgaben erschwert werden. Als Reaktion darauf stellen wir eine Python-Bibliothek vor, die eine Methode zum Umgehen virtueller Tastaturen bietet.

Das Umgehen virtueller Tastaturen erfolgt durch die Analyse der Ähnlichkeit mit vorab erfassten Bildern. Dafür werden zunächst mit vKeypad-Studio die Bilder und Daten der virtuellen Tastatur vorbereitet.

Verwendung von vKeypad-Studio

  1. Bereiten Sie ein Bild der virtuellen Tastatur vor.
  2. Laden Sie das Bild der virtuellen Tastatur in Figma hoch.
  3. Decken Sie in Figma mit dem Rechteck-Werkzeug jede Taste der virtuellen Tastatur ab.
  4. Exportieren Sie die Arbeit aus Figma als SVG-Datei.
  5. Geben Sie im Terminal den Befehl vkeypad-studio [이미지 파일] [SVG 파일] ein.
  6. Drücken Sie im neu geöffneten Fenster die Tastaturtaste, die dem Bild entspricht.
  7. Bewahren Sie die Bilddateien im erzeugten Ordner assets sowie die Datei data.json separat auf.

Nun können Sie eine Python-Bibliothek verwenden, mit der sich anhand der vorbereiteten Daten virtuelle Tastaturen umgehen lassen. Dadurch kann das Crawling auf Behörden- oder Finanz-Websites mit virtuellen Tastaturen reibungsloser durchgeführt werden.

Verwandte Beiträge

5 Kommentare

 
roxie 2023-04-12

Gilt das also nicht für Fälle, in denen sich die Tastenanordnung ständig ändert?
 
soulee 2023-04-12

Sie wurde grundsätzlich für Fälle entwickelt, in denen sich die Tastenanordnung ständig ändert.
Wenn man mit vkeypad-studio im Voraus Bilder erzeugt, ist dank Ähnlichkeitsanalyse mit diesen Bildern eine Erkennung auch dann möglich, wenn sich die Tastenanordnung ändert.
 
roxie 2023-04-12

Ach so ... Nur mit der README und dem Video war es für mich schwer zu verstehen, wie es funktioniert. Es wirkt auch nicht so, als müsse es unbedingt Figma sein, daher war es etwas verwirrend, dass Figma so ausdrücklich genannt wurde. Wie auch immer, ich werde es später einmal ausprobieren, danke.
 
soulee 2023-04-12

Zur ergänzenden Erklärung: Grundsätzlich wird über eine Analyse der Bildähnlichkeit erkannt, welche Taste sich an welcher Position befindet.

Für die Analyse der Bildähnlichkeit werden Bilder für jede einzelne Taste benötigt; um das zu automatisieren, wurde das Tool vkeypad-studio entwickelt.
Wenn man in Figma Rechtecke über das Tastaturbild legt, werden im SVG Layer angelegt. Die Koordinaten dieser Layer werden extrahiert, um das Bild zuzuschneiden und dabei Koordinaten sowie keycode aufzuzeichnen.
Und anhand der so gespeicherten Bilder und Koordinaten lassen sich die Tasten analysieren.

Dass die Nutzung von Figma vorgesehen wurde, geschah eigentlich nur aus Gründen der Benutzerfreundlichkeit. Die meisten virtuellen Tastaturen haben eine feste Breite, und da das von Figma bereitgestellte Auto-Align so gut ist, dachte ich, man könnte den Workflow so anbieten — aber vielleicht wirkt es am Ende sogar eher komplizierter.
 
soulee 2023-04-12

Es war mein Versäumnis, die README nicht richtig zu erklären. Aufgrund der von Ihnen genannten Hinweise werde ich die README überarbeiten, damit sie wieder klarer verständlich ist.