HyperAIHyperAI

Command Palette

Search for a command to run...

Normalisation par Moyenne Mobile Exponentielle pour l'Apprentissage Auto-Éducatif et Semi-Éducatif

Zhaowei Cai Avinash Ravichandran Subhransu Maji Charless Fowlkes Zhuowen Tu Stefano Soatto

Résumé

Nous présentons une alternative plug-in à la normalisation par lots (batch normalization, BN), appelée normalisation par moyenne mobile exponentielle (exponential moving average normalization, EMAN), qui améliore les performances des techniques existantes d’apprentissage auto-supervisé et semi-supervisé fondées sur le modèle « student-teacher ». Contrairement à la BN classique, dont les statistiques sont calculées au sein de chaque lot, EMAN, utilisée dans le modèle « teacher », met à jour ses statistiques par moyenne mobile exponentielle à partir des statistiques de BN du modèle « student ». Cette approche réduit la dépendance intrinsèque entre échantillons propre à la BN et renforce la généralisation du modèle « teacher ». EMAN améliore les performances des bases fortes d’apprentissage auto-supervisé de 4 à 6 points et celles de l’apprentissage semi-supervisé d’environ 7 points, lorsque 1 % ou 10 % d’étiquettes supervisées sont disponibles sur ImageNet. Ces gains sont constants indépendamment des méthodes, des architectures de réseau, de la durée d’entraînement et des jeux de données, démontrant ainsi l’efficacité générale de cette technique. Le code est disponible à l’adresse suivante : https://github.com/amazon-research/exponential-moving-average-normalization.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp