AutoInt : Apprentissage automatique des interactions de caractéristiques par des réseaux neuronaux auto-attentionnels
La prédiction du taux de clics (CTR, Click-through Rate) vise à prédire la probabilité qu'un utilisateur clique sur une publicité ou un élément. Elle est cruciale pour de nombreuses applications en ligne, telles que la publicité en ligne et les systèmes de recommandation. Ce problème est très complexe car (1) les caractéristiques d'entrée (par exemple, l'identifiant utilisateur, l'âge de l'utilisateur, l'identifiant de l'élément, la catégorie de l'élément) sont généralement creuses et de grande dimension, et (2) une prédiction efficace repose sur des caractéristiques combinatoires d'ordre supérieur (\textit{alias} caractéristiques croisées), qui sont très fastidieuses à créer manuellement par des experts du domaine et impossibles à énumérer. Par conséquent, des efforts ont été déployés pour trouver des représentations de faible dimensionnalité des caractéristiques brutes creuses et de grande dimension ainsi que leurs combinaisons significatives. Dans cet article, nous proposons une méthode efficace et performante appelée \emph{AutoInt} pour apprendre automatiquement les interactions de caractéristiques d'ordre supérieur des caractéristiques d'entrée. Notre algorithme proposé est très général et peut être appliqué aux caractéristiques d'entrée numériques et catégorielles. Plus précisément, nous cartographions à la fois les caractéristiques numériques et catégorielles dans le même espace de faible dimensionnalité. Ensuite, un réseau neuronal auto-attentionnel multi-têtes avec connexions résiduelles est proposé pour modéliser explicitement les interactions de caractéristiques dans cet espace de faible dimensionnalité. Avec différentes couches du réseau neuronal auto-attentionnel multi-têtes, différents ordres de combinaisons de caractéristiques d'entrée peuvent être modélisés. Le modèle complet peut être ajusté efficacement sur des données brutes à grande échelle de manière end-to-end. Les résultats expérimentaux sur quatre jeux de données réels montrent que notre approche proposée non seulement surpassent les méthodes existantes les plus avancées pour la prédiction mais offre également une bonne explicabilité. Le code source est disponible à : \url{https://github.com/DeepGraphLearning/RecommenderSystems}.