Bewertungsmethoden für intelligentere Suchalgorithmen

• So hat Shopify bewertet, ob sich die Suchergebnisse durch die Umstellung des für die Produktsuche verwendeten Algorithmus tatsächlich verbessert haben

→ Bisheriger Vanilla PageRank: Ranking-Berechnung auf Basis suchbezogener PVs

→ Neuer query-spezifischer PageRank: Gewichtungsberechnung auf Basis der Klickhistorie zur jeweiligen Suchanfrage

• Bewertung in 3 Schritten

1. Datenerfassung: Kafka-Events und annotierter Datensatz

2. Bewertung mit Offline-Metriken: Bewertung des neuen Algorithmus anhand bestehender Suchanfragen

→ Mean Average Precision (MAP): Verhängt eine Strafe, wenn unter den Top-N-Ergebnissen einer Suchanfrage irrelevante Dokumente enthalten sind

→ Normalized Discounted Cumulative Gain (NDCG): Berechnet den Cutoff-Score für die MAP-Berechnung und verhängt eine Strafe, wenn Items mit guter Bewertung (Great/Good) weiter hinten erscheinen

3. Bewertung mit Online-Metriken: Mithilfe von Suchlogs wird bewertet, wie die Suche in der Praxis tatsächlich funktioniert

→ Metriken zur Erfolgsbestimmung: wie häufig Nutzer suchen, wie weit sie scrollen, um gewünschte Ergebnisse zu finden, und ob sie zur Problemlösung den Support kontaktieren usw.

→ Click-through rate (CTR): Klickrate der Suchergebnisse. Höher ist besser

→ Average rank: Durchschnittliche Position des angeklickten Ergebnisses. Niedriger ist besser

→ Abandonment: Abbruchrate, wenn gewünschte Ergebnisse nicht gefunden werden; natürlich beeinflusst auch durch Bots/Spam usw., aber insgesamt ist ein angemessen niedriger Wert besser

→ Erfassung mit Kafka

→ Durchführung von A/B-Tests mit dem bisherigen Verfahren

• Im Ergebnis übertraf der neue Suchalgorithmus das bisherige Verfahren und wurde daher ersetzt

• Kernpunkte

→ Ein hochwertiger, verlässlicher gelabelter Datensatz ist der Schlüssel zur Bewertung

→ Online-Metriken liefern hervorragende Einblicke in das Nutzerverhalten

→ Offline-Metriken helfen dabei, neue Algorithmen schnell iterativ zu testen und Risiken zu verringern