MaskNet : Introduction de la multiplication par caractéristiques dans les modèles de classement CTR via un masque guidé par instance

L’estimation du taux de clic (Click-Through Rate, CTR) est devenue l’une des tâches fondamentales dans de nombreuses applications du monde réel, et il est crucial pour les modèles de classement de capturer efficacement des caractéristiques complexes d’ordre élevé. Les réseaux feed-forward peu profonds sont largement utilisés dans de nombreux modèles DNN de pointe, tels que FNN, DeepFM et xDeepFM, afin de capturer implicitement les interactions entre caractéristiques d’ordre élevé. Toutefois, certaines recherches ont démontré que les interactions entre caractéristiques additives, en particulier les réseaux feed-forward, sont peu efficaces pour modéliser les interactions courantes entre caractéristiques. Pour résoudre ce problème, nous introduisons une opération multiplicative spécifique dans le système de classement DNN en proposant un masque guidé par l’instance, qui effectue un produit élément par élément tant sur les embeddings de caractéristiques que sur les couches feed-forward, guidé par l’instance d’entrée. Nous transformons également la couche feed-forward du modèle DNN en un mélange d’interactions additives et multiplicatives en proposant dans cet article une unité appelée MaskBlock. MaskBlock combine la normalisation par couche (layer normalization), le masque guidé par l’instance et la couche feed-forward, et constitue une unité fondamentale pouvant être utilisée pour concevoir de nouveaux modèles de classement sous diverses configurations. Le modèle basé sur MaskBlock est désigné sous le nom de MaskNet dans cet article, et deux nouveaux modèles MaskNet sont proposés afin de démontrer l’efficacité de MaskBlock comme unité fondamentale pour construire des systèmes de classement à haute performance. Les résultats expérimentaux sur trois jeux de données du monde réel montrent que les modèles MaskNet proposés surpassent significativement les modèles de pointe tels que DeepFM et xDeepFM, ce qui indique que MaskBlock est une unité fondamentale efficace pour la conception de nouveaux systèmes de classement performants.