- Home-Banner sind der zentrale Bereich, den Kundinnen und Kunden auf dem ersten Bildschirm als Erstes sehen. Mit einem hyperpersonalisierten Empfehlungssystem werden Klickrate (CTR) und Nutzererlebnis maximiert.
- Statt der bisherigen einfachen CTR-Optimierung auf Basis von MAB (Multi-Armed Bandit) werden aktuelle Algorithmen wie DeepFM, Two-Tower und HGNN sowie graphbasierte Embeddings eingesetzt, um Banner- und Nutzereigenschaften präzise abzubilden.
- Domänenspezifische Probleme wie kurze Banner-Lebenszyklen, verrauschtes Klick-Feedback und unausgewogene Daten werden durch Continual Learning sowie den kombinierten Betrieb einzelner und integrierter Modelle gelöst.
- Am Ende wurde eine systematische Empfehlungs-Pipeline aufgebaut, die die CTR um mehr als 16 % verbessert, neue Banner und Cold User unterstützt und Echtzeit- sowie Business-Policies einbindet.
- Künftig ist eine kontinuierliche Weiterentwicklung geplant, darunter Realtime Serving, Multi-Task Learning, bessere Embedding-Qualität und die Einführung vielseitiger Erfolgsmetriken.
Mit kundenspezifischen Big Banners ein besseres Erlebnis schaffen
- Mit wachsendem Kundengeschmack und zunehmender Vielfalt der ausgespielten Inhalte stieß eine einheitliche Banner-Ausspielung an Grenzen, wenn es darum ging, ein zufriedenstellendes Erlebnis zu bieten.
- Mit dem Ziel der Maximierung der CTR wurde ein Projekt umgesetzt, das für die großen Banner am oberen Rand jeder Store-Startseite eine personalisierte Ausspielungslogik einführt.
Bedeutung und Eigenschaften von Home-Bannern
- Home-Banner sind im Musinsa-Service die sliderartigen Banner ganz oben auf dem Bildschirm, denen Kundinnen und Kunden zuerst begegnen (insgesamt 35 Stück). In der App wird eines, im Web werden drei angezeigt.
- Etwa 97 % des gesamten Musinsa-Traffics sehen beim Betreten der Hauptseite ein Home-Banner.
- Klicks auf Home-Banner machen 35 % aller Klicks aus und entfallen auf 37 % der Sessions mit Klickereignissen.
- Durch die hohe Ausspielfrequenz ist dies ein Bereich mit sehr großem Effekt auf die Business-Conversion.
Grenzen des bisherigen Empfehlungsverfahrens
- Bisher wurden Empfehlungen mithilfe des MAB-Algorithmus (Multi-Armed Bandit) durchgeführt, mit Fokus auf die CTR.
- Ausbalancierung von Exploration und Exploitation
- Drei Einschränkungen:
- Abhängigkeit von einer einzigen CTR-Metrik, wodurch unterschiedliche Kundenvorlieben und Bannereigenschaften nur unzureichend berücksichtigt werden
- Schwierige Berücksichtigung von Banner-Zusammenhängen (unabhängige Verarbeitung)
- Cold Start (Leistungsabfall, wenn für neue Banner zu wenig Klickdaten vorliegen)
- Um diese Grenzen zu überwinden, wurde ein neues Empfehlungssystem entworfen.
Pipeline des Empfehlungssystems
- Das System besteht aus einer mehrstufigen Pipeline.
- Stärkung der Banner-Repräsentation: Gewinnung von Embeddings auf Basis bannerbezogener Texte, Bilder und verknüpfter Produkte (unter Verwendung von HGNN und GraphSAGE)
- Training eines Klickvorhersagemodells: Gleichzeitiger Einsatz von DeepFM (Feature-Interaktionen) und Two-Tower (getrennte User-/Banner-Embeddings)
- Banner-Scoring und Anwendung: Batch- oder Echtzeit-Berechnung der prognostizierten CTR-Scores pro Nutzer
- Für Nutzer mit ausreichend Daten: feingranulare Personalisierung
- Für neue bzw. Cold User: segmentbasierte Empfehlungen
- Berücksichtigung von Business-Policies: Zusätzlich zur Systembewertung werden Unternehmensrichtlinien und -strategien, Kampagnenbanner, dringende Änderungen usw. in Echtzeit reflektiert.
- Endgültige Bannerausspielung: Empfehlung und Anzeige der Top-N-Banner mit den höchsten Scores
Einführung in die Kernmodelle der Empfehlung
- DeepFM: Parallele Struktur aus FM (Interaktionen 2. Ordnung) und DNN (hochdimensionale Interaktionen), lernt sowohl aus spärlichen Daten als auch aus komplexen Interaktionen effektiv und ist hervorragend für CTR-Vorhersagen geeignet.
- Two-Tower: Extrahiert Embeddings für Nutzer und Banner jeweils aus unabhängigen neuronalen Netzen, ist stark bei großen Datenmengen und Realtime Serving und eignet sich für ähnlichkeitssbasierte Empfehlungen.
DeepFM
- Kombination aus FM-Layer (Feature-Interaktionen 2. Ordnung) und DNN-Layer (hochdimensionale nichtlineare Integration von Features)
- Robust gegenüber spärlichen Daten und konsistente Leistungsoptimierung durch End-to-End-Lernstruktur
- Verwendet Nutzerinformationen, Banner-Metadaten und Embedding-Informationen (64 Dimensionen) als Features.
- Embedding-Vektoren werden als ein einzelner Block verarbeitet, um Trainingseffizienz und Stabilität sicherzustellen.
- Die CTR-Vorhersageergebnisse werden zur Berechnung des Banner-Rankings verwendet.
Two-Tower
- Nutzer und Banner werden in getrennten neuronalen Netzen (Towers) eingebettet, anschließend wird die Ähnlichkeit berechnet.
- Bietet Skalierbarkeit für große Datenmengen sowie schnelle Reaktionen durch vorab vektorisierte Berechnung (niedrige Latenz).
- Nutzt in jedem Tower unterschiedliche Eingabedaten wie Demografie, Verhaltenslogs, Text und Bilder.
- Dank getrennter Trainings- und Parallelverarbeitungsstruktur lässt sich schnell und flexibel auf große Empfehlungsprobleme reagieren.
Zentrale Herausforderungen in der Praxis
- Home-Banner haben einen sehr kurzen Lebenszyklus (2 bis 3 Tage, teils nur stundenweise), weshalb eine Echtzeit-Reaktion nötig ist.
- Das Feedback-Signal basiert hauptsächlich auf Klicks, was es erschwert, echte Nutzerpräferenzen zu identifizieren.
- Im Unterschied zu Produkten oder Marken verfügen Banner nur über wenige strukturierte Metadaten, und Kontext aus Bildern oder Texten ist schwer zu erfassen.
- Datenungleichgewichte zwischen Stores (Unterschiede bei Traffic und Aktivität je Spezialbereich) können die Gesamtleistung verschlechtern.
- Um diese Probleme zu überwinden, wurde das System entlang von drei technischen Achsen neu gestaltet: stärkere Ausdruckskraft, Aktualität und Abmilderung von Ungleichgewichten.
Konkrete Verbesserungsmaßnahmen
Stärkung der Bannereigenschaften
- Um die Grenzen des Durchschnitts von PinSAGE-Embeddings zu überwinden (schwache Darstellung komplexer Banner, keine Empfehlung neuer Banner), wurde HGNN eingeführt.
- Auf Basis von Nutzerverhaltensmustern werden Banner-Produkt-Beziehungen in einer Graph-Struktur mit GraphSAGE eingebettet.
- Für Text- und Bildinformationen wird eine Kombination von LLM-Embeddings verwendet.
- Durch Echtzeit-Aktualisierung der Nutzer-Embeddings und Einführung von Continual Learning werden aktuelle Nutzerinteressen berücksichtigt.
- CTR-Anstieg um 8,3 %
Continual Learning
- Statt eines Batch-Trainings auf dem gesamten Datenbestand wurde eine kontinuierliche Aktualisierung eingeführt (stündlich, mit Logs der letzten 3 Stunden).
- Die Lernrate wird je nach Aktivitätsniveau dynamisch angepasst (unter der Woche maximal 5-fach, nachts 2-fach).
- Dadurch werden schnelle Anpassung und Vermeidung von Modellalterung erreicht sowie schnelle Empfehlungsanpassungen ohne Leistungseinbruch ermöglicht.
- CTR-Anstieg um 24 %
Strategische Modellauswahl
- Die optimale Modellierungsstrategie wurde für jeden Store festgelegt.
- Für den Main Store wurde DeepFM + Continual eingesetzt, für Spezialbereiche individuelle Two-Tower-Modelle, mit einer CTR-Verbesserung von 19 %.
Endergebnisse
- Gegenüber dem bisherigen MAB stieg die CTR um 11,2 % bei Two-Tower bzw. 16,1 % bei DeepFM.
- Für Musinsa Home wurde DeepFM + Continual Learning in der Praxis ausgerollt, für Spezialbereiche das Two-Tower-Modell.
Ausblick
- Geplant ist eine weitere Verbesserung durch den Wechsel zu einer Realtime-Serving-Architektur, die Einführung von Multi-Task Learning (CTR + GGMV), die Verbesserung von Embedding-Qualität und Graph-Struktur sowie eine Diversifizierung der Erfolgsmetriken.
- Das Modell soll sich von einer reinen CTR-Perspektive weiterentwickeln hin zur Bewertung verschiedener Business-Ziele und qualitativer Erfahrungen.
1 Kommentare
Ein guter Artikel ~