AutoFIS : Sélection Automatique des Interactions de Fonctionnalités dans les Modèles de Factorisation pour la Prédiction du Taux de Clic

L’apprentissage des interactions entre caractéristiques est crucial pour la prédiction du taux de clic (CTR) dans les systèmes de recommandation. Dans la plupart des modèles d’apprentissage profond existants, les interactions entre caractéristiques sont soit conçues manuellement, soit simplement énumérées. Toutefois, l’énumération de toutes les interactions possibles entraîne un coût important en mémoire et en calcul. En outre, certaines interactions inutiles peuvent introduire du bruit et compliquer le processus d’entraînement. Dans ce travail, nous proposons un algorithme en deux étapes appelé sélection automatique des interactions entre caractéristiques (AutoFIS). AutoFIS peut identifier automatiquement les interactions entre caractéristiques pertinentes pour les modèles de factorisation, avec un coût computationnel équivalent à celui de l’entraînement du modèle cible jusqu’à convergence. Pendant la phase de recherche, au lieu de chercher parmi un ensemble discret d’interactions candidates, nous relâchons les choix vers un espace continu en introduisant des paramètres d’architecture. En appliquant un optimiseur régularisé sur ces paramètres d’architecture, le modèle peut automatiquement identifier et éliminer les interactions redondantes durant l’entraînement. Dans la phase de re-entraînement, nous conservons les paramètres d’architecture comme unité d’attention afin d’améliorer davantage les performances. Des expériences hors ligne sur trois jeux de données à grande échelle (deux benchmarks publics, un jeu de données privé) montrent que AutoFIS permet d’améliorer significativement divers modèles basés sur le FM. AutoFIS a été déployé sur la plateforme d’entraînement du service de recommandation de l’App Store Huawei, où un test A/B en ligne sur 10 jours a démontré une amélioration de 20,3 % pour le CTR et de 20,1 % pour le taux de conversion (CVR) du modèle DeepFM.