Machines de factorisation neuronales pour l'analyse prédictive éparse

De nombreuses tâches de prédiction des applications web nécessitent de modéliser des variables catégorielles, telles que les identifiants d'utilisateurs et les démographiques comme le sexe et l'occupation. Pour appliquer des techniques d'apprentissage automatique standard, ces prédicteurs catégoriels sont toujours convertis en un ensemble de caractéristiques binaires par encodage one-hot, ce qui rend le vecteur de caractéristiques résultant très creux. Pour apprendre efficacement à partir de données aussi creuses, il est crucial de prendre en compte les interactions entre les caractéristiques.Les Machines à Factorisation (FMs) constituent une solution populaire pour utiliser efficacement les interactions de deuxième ordre entre les caractéristiques. Cependant, les FMs modélisent les interactions de manière linéaire, ce qui peut être insuffisant pour capturer la structure non-linéaire et complexe inhérente aux données du monde réel. Bien que les réseaux neuronaux profonds aient été récemment appliqués dans l'industrie pour apprendre des interactions non-linéaires entre les caractéristiques, comme Wide&Deep par Google et DeepCross par Microsoft, leur structure profonde rend leur entraînement difficile.Dans cet article, nous proposons un nouveau modèle appelé Neural Factorization Machine (NFM) pour effectuer des prédictions dans des contextes creux. Le NFM combine sans heurts la linéarité des FMs dans la modélisation des interactions de deuxième ordre entre les caractéristiques et la non-linéarité des réseaux neuronaux dans la modélisation des interactions d'ordres supérieurs. Conceptuellement, le NFM est plus expressif que le FM car le FM peut être considéré comme un cas particulier du NFM sans couches cachées. Les résultats empiriques sur deux tâches de régression montrent que même avec une seule couche cachée, le NFM surpasse significativement le FM avec une amélioration relative de 7,3 %. Comparativement aux méthodes d'apprentissage profond récentes Wide&Deep et DeepCross, notre NFM utilise une structure moins profonde mais offre de meilleures performances, étant beaucoup plus facile à entraîner et à ajuster en pratique.