Réseau de factorisation adaptatif : apprentissage d'interactions adaptatives entre caractéristiques d'ordre variable

Plusieurs méthodes fondées sur la factorisation ont été proposées afin d’exploiter les caractéristiques croisées d’ordre second ou supérieur, dans le but d’améliorer la performance des modèles prédictifs. Ces approches consistent généralement à énumérer toutes les caractéristiques croisées jusqu’à un ordre maximal prédéfini, puis à identifier les interactions utiles entre caractéristiques à l’aide de l’entraînement du modèle. Cependant, elles souffrent de deux inconvénients majeurs. Premièrement, elles imposent un compromis entre l’expressivité des caractéristiques croisées d’ordre élevé et le coût computationnel, ce qui conduit à des prédictions sous-optimales. Deuxièmement, l’énumération de toutes les caractéristiques croisées, y compris celles sans pertinence, peut introduire des combinaisons bruyantes qui détériorent la performance du modèle. Dans ce travail, nous proposons le Réseau de Factorisation Adaptatif (AFN), un nouveau modèle capable d’apprendre de manière adaptative des caractéristiques croisées d’ordre arbitraire à partir des données. Le cœur de l’AFN repose sur une couche de transformation logarithmique, qui transforme la puissance de chaque caractéristique dans une combinaison en un coefficient à apprendre. Les résultats expérimentaux obtenus sur quatre jeux de données réels démontrent la supériorité du modèle AFN par rapport aux méthodes de pointe actuelles en matière de performance prédictive.