MMBAttn : Max-Mean et Attention Bit-à-Bit pour la Prédiction du Taux de Clic

Face à la complexité croissante et à l’ampleur croissante des tâches de prédiction du taux de clic (CTR) dans les systèmes de publicité en ligne et de recommandation, l’estimation précise de l’importance des caractéristiques est devenue un enjeu fondamental dans le développement de modèles efficaces. Dans cet article, nous proposons une approche basée sur l’attention, qui exploite des opérations de pooling max et mean, ainsi qu’un mécanisme d’attention bit à bit, afin d’améliorer l’estimation de l’importance des caractéristiques dans la prédiction du CTR. Traditionnellement, des opérations de pooling telles que le pooling max et le pooling mean sont largement utilisées pour extraire les informations pertinentes à partir des caractéristiques. Toutefois, ces opérations peuvent entraîner une perte d’information et entraver une détermination précise de l’importance des caractéristiques. Pour relever ce défi, nous proposons une nouvelle architecture d’attention fondée sur une structure d’attention bit à bit, qui met l’accent sur les relations entre tous les bits des caractéristiques, combinée à des opérations de pooling max et mean. En tenant compte des interactions fines au niveau bit, notre méthode vise à capturer des motifs et des dépendances complexes qui pourraient être négligés par les opérations de pooling traditionnelles. Pour évaluer l’efficacité de la méthode proposée, des expériences ont été menées sur trois jeux de données publics. Les résultats expérimentaux montrent que la méthode proposée améliore significativement les performances des modèles de base, atteignant ainsi des résultats de pointe dans le domaine.