Normalisation par Moyenne Mobile Exponentielle pour l'Apprentissage Auto-Éducatif et Semi-Éducatif

Nous présentons une alternative plug-in à la normalisation par lots (batch normalization, BN), appelée normalisation par moyenne mobile exponentielle (exponential moving average normalization, EMAN), qui améliore les performances des techniques existantes d’apprentissage auto-supervisé et semi-supervisé fondées sur le modèle « student-teacher ». Contrairement à la BN classique, dont les statistiques sont calculées au sein de chaque lot, EMAN, utilisée dans le modèle « teacher », met à jour ses statistiques par moyenne mobile exponentielle à partir des statistiques de BN du modèle « student ». Cette approche réduit la dépendance intrinsèque entre échantillons propre à la BN et renforce la généralisation du modèle « teacher ». EMAN améliore les performances des bases fortes d’apprentissage auto-supervisé de 4 à 6 points et celles de l’apprentissage semi-supervisé d’environ 7 points, lorsque 1 % ou 10 % d’étiquettes supervisées sont disponibles sur ImageNet. Ces gains sont constants indépendamment des méthodes, des architectures de réseau, de la durée d’entraînement et des jeux de données, démontrant ainsi l’efficacité générale de cette technique. Le code est disponible à l’adresse suivante : https://github.com/amazon-research/exponential-moving-average-normalization.