CurriculumNet : Apprentissage faiblement supervisé à partir d'images web de grande échelle

Nous présentons une approche simple mais efficace permettant d'entraîner des réseaux de neurones profonds sur des images web à grande échelle faiblement supervisées, qui sont collectées brutes depuis Internet en utilisant des requêtes textuelles, sans aucune annotation humaine. Nous développons une stratégie d'apprentissage rigoureuse en exploitant l'apprentissage par programme (curriculum learning), avec pour objectif de gérer efficacement un volume massif d'étiquettes bruyantes et un déséquilibre de données. Nous concevons un nouveau programme d'apprentissage en mesurant la complexité des données par leur densité de distribution dans un espace de caractéristiques, et classons cette complexité de manière non supervisée. Cela permet une mise en œuvre efficace de l'apprentissage par programme sur des images web à grande échelle, aboutissant à un modèle CNN haute performance où l'impact négatif des étiquettes bruyantes est considérablement réduit. De manière importante, nous montrons par des expériences que les images ayant des étiquettes très bruyantes peuvent, de façon surprenante, améliorer la capacité de généralisation du modèle, en agissant comme une forme de régularisation. Nos approches obtiennent des performances d'état de l'art sur quatre benchmarks : WebVision, ImageNet, Clothing-1M et Food-101. Avec un ensemble de plusieurs modèles, nous avons atteint un taux d'erreur top-5 de 5,2 % sur le défi WebVision pour la classification en 1000 catégories. Ce résultat était nettement meilleur que celui du deuxième rang, surpassant ce dernier d'un taux d'erreur relatif proche de 50 %. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/MalongTech/CurriculumNet .