L’auto-entraînement avec Noisy Student améliore la classification sur ImageNet

Nous présentons Noisy Student Training, une méthode d'apprentissage semi-supervisé qui s'avère efficace même lorsque les données étiquetées sont abondantes. Noisy Student Training atteint une précision top-1 de 88,4 % sur ImageNet, soit une amélioration de 2,0 % par rapport au modèle de pointe actuel, qui nécessite 3,5 milliards d’images Instagram étiquetées de manière faible. Sur des ensembles de tests de robustesse, elle améliore la précision top-1 sur ImageNet-A de 61,0 % à 83,7 %, réduit l’erreur moyenne de corruption sur ImageNet-C de 45,7 à 28,3, et diminue le taux moyen de retournement sur ImageNet-P de 27,8 à 12,2.Noisy Student Training étend l'idée de l'apprentissage auto-étiqueté (self-training) et de la distillation de modèles en utilisant des modèles élèves de taille égale ou supérieure, ainsi qu’en ajoutant du bruit au modèle élève pendant l’apprentissage. Sur ImageNet, nous commençons par entraîner un modèle EfficientNet sur des images étiquetées, puis l’utilisons comme modèle enseignant pour générer des étiquettes pseudo-étiquetées sur 300 millions d’images non étiquetées. Ensuite, nous entraînons un EfficientNet plus grand comme modèle élève sur la combinaison des données étiquetées et des données pseudo-étiquetées. Ce processus est itéré en réutilisant le modèle élève comme nouveau modèle enseignant. Pendant l’entraînement du modèle élève, nous injectons du bruit — tel que le dropout, la profondeur stochastique, ou des augmentations de données via RandAugment — afin que l’élève généralise mieux que l’enseignant. Les modèles sont disponibles à l’adresse suivante : https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet. Le code source est accessible à : https://github.com/google-research/noisystudent.