FLEN: Field-basierte Nutzung für skalierbare CTR-Vorhersage

Die Vorhersage der Klickrate (Click-Through Rate, CTR) ist für zahlreiche industrielle Anwendungen, wie Empfehlungssysteme und Online-Werbung, eine unverzichtbare Komponente. CTR-Vorhersagesysteme basieren typischerweise auf mehrfachfeldigen kategorischen Merkmalen, bei denen jedes Merkmal kategorisch ist und genau einem Feld zugeordnet ist. Die Modellierung von Merkmalskombinationen ist entscheidend für die Genauigkeit der CTR-Vorhersage. Allerdings erfordert die explizite Modellierung aller Merkmalskombinationen eine enorme Anzahl an Modellparametern, was für reale Produktionsumgebungen nicht skalierbar ist. In diesem Artikel stellen wir ein neuartiges Field-Leveraged Embedding Network (FLEN) vor, das bereits in dem kommerziellen Empfehlungssystem von Meitu eingeführt wurde und den Hauptverkehr verarbeitet. FLEN führt eine feldweise bi-interaktive Pooling-Technik ein. Durch gezielte Ausnutzung der Feldinformationen erfasst das feldweise bi-interaktive Pooling sowohl inter-feld- als auch intra-feld-Beziehungen zwischen Merkmalen mit einer geringen Anzahl an Modellparametern und einer akzeptablen Zeitkomplexität für industrielle Anwendungen. Wir zeigen, dass eine Vielzahl aktueller state-of-the-art-CTR-Modelle unter dieser Technik formuliert werden kann. Darüber hinaus entwickeln wir Dicefactor – eine Dropout-Technik, die verhindert, dass unabhängige latente Merkmale sich gegenseitig anpassen. Umfangreiche Experimente, einschließlich Offline-Evaluierungen und Online-A/B-Tests in realen Produktionsumgebungen, belegen die Wirksamkeit und Effizienz von FLEN gegenüber bestehenden State-of-the-Art-Verfahren. Besonders hervorzuheben ist, dass FLEN im Vergleich zur vorherigen Version (d.h. NFM) eine Verbesserung der CTR um 5,19 % erzielt, während gleichzeitig nur ein Sechstel des Speicherverbrauchs und der Rechenzeit benötigt werden.