AutoFIS: Automatische Auswahl von Merkmalsinteraktionen in Faktorisationsmodellen zur Klick-Through-Rate-Vorhersage

Das Lernen von Merkmalsinteraktionen ist entscheidend für die Klickrate-Vorhersage (CTR) in Empfehlungssystemen. In den meisten bestehenden tiefen Lernmodellen werden Merkmalsinteraktionen entweder manuell entworfen oder einfach aufgelistet. Die vollständige Enumeration aller Merkmalsinteraktionen führt jedoch zu hohen Speicher- und Rechenkosten. Schlimmer noch: nutzlose Interaktionen können Rauschen einführen und den Trainingsprozess komplizieren. In dieser Arbeit stellen wir einen zweistufigen Algorithmus namens Automatic Feature Interaction Selection (AutoFIS) vor. AutoFIS kann wichtige Merkmalsinteraktionen für Faktorisierungsmodelle automatisch identifizieren, wobei der rechnerische Aufwand lediglich dem entspricht, den man benötigt, um das Zielmodell bis zur Konvergenz zu trainieren. Im \emph{Suchstadium} ersetzen wir die Suche über eine diskrete Menge möglicher Merkmalsinteraktionen durch eine kontinuierliche Relaxierung der Auswahl mittels Architekturparameter. Durch die Anwendung eines regularisierten Optimierers auf die Architekturparameter kann das Modell während des Trainingsprozesses redundante Merkmalsinteraktionen automatisch erkennen und eliminieren. Im \emph{Neu-Trainierstadium} behalten wir die Architekturparameter als Aufmerksamkeitsmechanismus bei, um die Modellleistung weiter zu steigern. Offline-Experimente an drei großskaligen Datensätzen (zwei öffentliche Benchmarks, einer privat) zeigen, dass AutoFIS verschiedene auf FM basierende Modelle erheblich verbessert. AutoFIS wurde bereits in die Trainingsplattform des Empfehlungsservices des Huawei App Store integriert, wo ein 10-tägiger Online-A/B-Test ergab, dass AutoFIS das DeepFM-Modell hinsichtlich CTR um 20,3 % und hinsichtlich CVR um 20,1 % verbesserte.