La normalisation correcte compte : Comprendre l'effet de la normalisation sur les modèles de réseaux de neurones profonds pour la prédiction du taux de clic

La normalisation est devenue l’un des composants fondamentaux les plus importants dans de nombreux réseaux de neurones profonds utilisés pour les tâches d’apprentissage automatique, tandis que les réseaux de neurones profonds sont également largement appliqués dans le domaine de l’estimation du taux de clic (CTR). Parmi la plupart des modèles de réseaux de neurones profonds proposés, peu d’entre eux intègrent des approches de normalisation. Bien que certaines méthodes, telles que le Deep & Cross Network (DCN) et le Neural Factorization Machine (NFM), utilisent la normalisation par lot (Batch Normalization) dans la partie MLP de leur architecture, aucune étude n’a encore exploré de manière approfondie l’impact de la normalisation sur les systèmes de classement basés sur les réseaux de neurones profonds (DNN). Dans ce travail, nous menons une étude systématique sur l’effet des schémas de normalisation couramment utilisés, en appliquant diverses méthodes de normalisation aussi bien aux embeddings de caractéristiques qu’à la partie MLP du modèle DNN. Des expériences étendues ont été menées sur trois jeux de données réels, et les résultats montrent clairement que la normalisation appropriée améliore significativement la performance du modèle. Par ailleurs, nous proposons une nouvelle méthode de normalisation efficace, basée sur la LayerNorm, appelée variance-only LayerNorm (VO-LN). À partir de ces observations, nous introduisons également un modèle DNN amélioré par normalisation, nommé NormDNN. Enfin, concernant la raison pour laquelle la normalisation améliore les performances des modèles DNN dans l’estimation du CTR, nous constatons que la variance après normalisation joue un rôle prépondérant, et nous fournissons une explication théorique à ce phénomène dans cet article.