FCN : Fusion de réseaux croisés exponentiels et linéaires pour la prédiction du taux de clic

En tant que paradigme fondamental de modélisation dans la prédiction du taux de clic (CTR), le Deep & Cross Network (DCN) et ses modèles dérivés ont acquis une reconnaissance généralisée principalement en raison de leur succès dans l’équilibre entre coût computationnel et performance. Ce paradigme utilise un réseau croisé pour modéliser explicitement les interactions entre caractéristiques avec une croissance linéaire, tout en exploitant les réseaux de neurones profonds (DNN) pour capturer implicitement des interactions de haut ordre. Toutefois, ces modèles sont encore confrontés à plusieurs limitations majeures : (1) les méthodes existantes de modélisation explicite des interactions entre caractéristiques peinent à atteindre la performance des DNN implicites, ce qui fait que la performance globale du modèle reste dominée par le DNN ; (2) bien que ces modèles affirment capturer des interactions de haut ordre, ils négligent souvent le bruit potentiel inhérent à ces interactions ; (3) le processus d’apprentissage des différentes branches du réseau d’interaction manque de signaux de supervision appropriés ; et (4) les interactions de haut ordre capturées par ces modèles sont souvent implicites et non interprétables en raison de leur dépendance aux DNN.Pour surmonter ces limitations, cet article propose un nouveau modèle, appelé Fusing Cross Network (FCN), accompagné de deux sous-réseaux : le Linear Cross Network (LCN) et l’Exponential Cross Network (ECN). FCN permet de capturer explicitement les interactions entre caractéristiques avec une croissance à la fois linéaire et exponentielle, éliminant ainsi la nécessité de s’appuyer sur un DNN implicite. En outre, nous introduisons une opération de Self-Mask, qui filtre progressivement le bruit à chaque couche et réduit de moitié le nombre de paramètres du réseau croisé. Pour entraîner efficacement ces deux sous-réseaux, nous proposons une fonction de perte simple mais efficace, appelée Tri-BCE, qui fournit des signaux de supervision adaptés à chaque réseau. Nous évaluons l’efficacité, l’efficience et l’interprétabilité de FCN sur six jeux de données standard. Enfin, en intégrant LCN et ECN, FCN atteint un nouveau record d’état de l’art en performance.