Blanchiment Interchangeable pour l'Apprentissage de Représentations Profondes

Les méthodes de normalisation sont des composants essentiels dans les réseaux neuronaux convolutifs (CNNs). Elles standardisent ou éclaircissent les données en utilisant des statistiques estimées sur des ensembles prédéfinis de pixels. Contrairement aux travaux existants qui conçoivent des techniques de normalisation pour des tâches spécifiques, nous proposons l'éclaircissement commutable (Switchable Whitening, SW), qui fournit une forme générale unifiant différentes méthodes d'éclaircissement ainsi que des méthodes de standardisation. SW apprend à basculer entre ces opérations de manière end-to-end. Cette approche présente plusieurs avantages. Premièrement, SW sélectionne de manière adaptative les statistiques d'éclaircissement ou de standardisation appropriées pour différentes tâches (voir Fig. 1), ce qui le rend bien adapté à une large gamme de tâches sans nécessiter un design manuel. Deuxièmement, en intégrant les avantages de différents normaliseurs, SW montre des améliorations constantes par rapport à ses homologues dans divers benchmarks difficiles. Troisièmement, SW sert d'outil utile pour comprendre les caractéristiques des techniques d'éclaircissement et de standardisation. Nous montrons que SW surpasse les autres alternatives dans la classification d'images (CIFAR-10/100, ImageNet), la segmentation sémantique (ADE20K, Cityscapes), l'adaptation de domaine (GTA5, Cityscapes) et le transfert de style d'image (COCO). Par exemple, sans recours à des astuces complexes, nous obtenons une performance au niveau de l'état de l'art avec un mIoU de 45,33 % sur le jeu de données ADE20K. Le code est disponible à l'adresse suivante : https://github.com/XingangPan/Switchable-Whitening.