FAT-DeepFFM : Machine à factorisation attentive aux champs et profonde

L'estimation du taux de clics (CTR) est une tâche fondamentale dans la publicité personnalisée et les systèmes de recommandation. Ces dernières années ont vu le succès des modèles basés sur l'apprentissage profond et des mécanismes d'attention dans diverses tâches en vision par ordinateur (CV) et traitement du langage naturel (NLP). La combinaison du mécanisme d'attention avec un modèle CTR profond est une direction prometteuse car elle pourrait associer les avantages des deux approches. Bien que certains modèles CTR, comme la Machine de Factorisation Attentive (AFM), aient été proposés pour modéliser le poids des caractéristiques d'interaction de deuxième ordre, nous soutenons que l'évaluation de l'importance des caractéristiques avant la procédure explicite d'interaction des caractéristiques est également cruciale pour les tâches d'estimation du CTR. En effet, si la tâche comporte de nombreuses caractéristiques d'entrée, le modèle peut apprendre à mettre en évidence sélectivement les caractéristiques informatives et à atténuer celles moins utiles.Dans cet article, nous proposons un nouveau modèle neuronal CTR appelé Field Attentive Deep Field-aware Factorization Machine (FAT-DeepFFM) en combinant la Deep Field-aware Factorization Machine (DeepFFM) avec le mécanisme d'attention par champ du réseau Compose-Excitation (CENet), une version améliorée du réseau Squeeze-Excitation (SENet) que nous avons développée pour souligner l'importance des caractéristiques. Nous menons des expériences approfondies sur deux jeux de données réels, et les résultats montrent que FAT-DeepFFM atteint les meilleures performances et obtient des améliorations significatives par rapport aux méthodes les plus avancées actuellement disponibles. Nous comparons également deux types de mécanismes d'attention (l'attention avant l'interaction explicite des caractéristiques contre l'attention après l'interaction explicite des caractéristiques) et démontrons que le premier surpasser largement le second.