ContextNet : un cadre de prédiction du taux de clic utilisant des informations contextuelles pour affiner l’embedding de caractéristiques

L’estimation du taux de clic (CTR) constitue une tâche fondamentale dans les systèmes publicitaires personnalisés et les systèmes de recommandation, et il est essentiel que les modèles de classement parviennent à capturer efficacement des caractéristiques complexes d’ordre élevé. Inspirés par le succès d’ELMO et de BERT dans le domaine du traitement du langage naturel (NLP), qui permettent de raffiner dynamiquement les embeddings des mots en fonction des informations contextuelles du contexte dans lequel ils apparaissent, nous considérons qu’il est tout aussi important, dans les tâches d’estimation du CTR, de raffiner dynamiquement l’embedding de chaque caractéristique, couche après couche, en fonction des informations contextuelles contenues dans l’instance d’entrée. Cette approche permet ainsi de capturer efficacement les interactions utiles entre caractéristiques pour chacune d’elles. Dans cet article, nous proposons un nouveau cadre d’estimation du CTR appelé ContextNet, qui modélise implicitement les interactions d’ordre élevé entre caractéristiques en raffinant dynamiquement l’embedding de chaque caractéristique selon le contexte d’entrée. Plus précisément, ContextNet se compose de deux composants clés : un module d’embedding contextuel et un bloc ContextNet. Le module d’embedding contextuel agrège les informations contextuelles pour chaque caractéristique à partir de l’instance d’entrée, tandis que le bloc ContextNet maintient l’embedding de chaque caractéristique couche après couche et le raffine dynamiquement en intégrant des informations d’interactions d’ordre élevé provenant du contexte dans l’embedding de la caractéristique. Pour préciser le cadre, nous proposons également deux modèles (ContextNet-PFFN et ContextNet-SFFN) en introduisant un réseau d’embedding contextuel linéaire et deux sous-réseaux de transformation non linéaire dans le bloc ContextNet. Nous menons des expériences étendues sur quatre jeux de données réels, et les résultats expérimentaux démontrent que nos modèles ContextNet-PFFN et ContextNet-SFFN surpassent significativement les modèles de pointe tels que DeepFM et xDeepFM.