Apprendre à Optimiser la Normalisation Spécifique au Domaine pour la Généralisation de Domaine

Nous proposons une technique de généralisation multi-source basée sur les réseaux neuronaux profonds, simple mais efficace, en intégrant des couches de normalisation optimisées spécifiques à chaque domaine. Notre approche utilise plusieurs méthodes de normalisation tout en apprenant des paramètres affines distincts pour chaque domaine. Pour chaque domaine, les activations sont normalisées par une moyenne pondérée de plusieurs statistiques de normalisation. Les statistiques de normalisation sont suivies séparément pour chaque type de normalisation si nécessaire. Plus précisément, nous utilisons la normalisation par lots (batch normalization) et la normalisation d'instance (instance normalization) dans notre mise en œuvre afin d'identifier la meilleure combinaison de ces deux méthodes de normalisation dans chaque domaine. Les couches de normalisation optimisées s'avèrent efficaces pour améliorer la généralisabilité du modèle appris. Nous démontrons l'excellence de notre algorithme en termes de précision dans les benchmarks standard de généralisation multi-source, ainsi que sa viabilité pour des tâches supplémentaires telles que l'adaptation multi-source et la généralisation en présence de bruit étiqueté.