HyperAIHyperAI

Command Palette

Search for a command to run...

La normalisation correcte compte : Comprendre l'effet de la normalisation sur les modèles de réseaux de neurones profonds pour la prédiction du taux de clic

Zhiqiang Wang Qingyun She PengTao Zhang Junlin Zhang

Résumé

La normalisation est devenue l’un des composants fondamentaux les plus importants dans de nombreux réseaux de neurones profonds utilisés pour les tâches d’apprentissage automatique, tandis que les réseaux de neurones profonds sont également largement appliqués dans le domaine de l’estimation du taux de clic (CTR). Parmi la plupart des modèles de réseaux de neurones profonds proposés, peu d’entre eux intègrent des approches de normalisation. Bien que certaines méthodes, telles que le Deep & Cross Network (DCN) et le Neural Factorization Machine (NFM), utilisent la normalisation par lot (Batch Normalization) dans la partie MLP de leur architecture, aucune étude n’a encore exploré de manière approfondie l’impact de la normalisation sur les systèmes de classement basés sur les réseaux de neurones profonds (DNN). Dans ce travail, nous menons une étude systématique sur l’effet des schémas de normalisation couramment utilisés, en appliquant diverses méthodes de normalisation aussi bien aux embeddings de caractéristiques qu’à la partie MLP du modèle DNN. Des expériences étendues ont été menées sur trois jeux de données réels, et les résultats montrent clairement que la normalisation appropriée améliore significativement la performance du modèle. Par ailleurs, nous proposons une nouvelle méthode de normalisation efficace, basée sur la LayerNorm, appelée variance-only LayerNorm (VO-LN). À partir de ces observations, nous introduisons également un modèle DNN amélioré par normalisation, nommé NormDNN. Enfin, concernant la raison pour laquelle la normalisation améliore les performances des modèles DNN dans l’estimation du CTR, nous constatons que la variance après normalisation joue un rôle prépondérant, et nous fournissons une explication théorique à ce phénomène dans cet article.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp