Les réseaux profonds transfèrent-ils les invariances entre les classes ?

Pour généraliser efficacement, les classifieurs doivent apprendre à être invariants par rapport aux transformations nuisibles qui n’altèrent pas la classe d’un input. De nombreux problèmes présentent des transformations nuisibles « indépendantes de la classe », qui s’appliquent de manière similaire à toutes les classes, telles que les variations d’éclairage ou de fond dans la classification d’images. Les réseaux de neurones peuvent apprendre ces invariances lorsqu’ils disposent de suffisamment de données, mais de nombreuses bases de données du monde réel sont fortement déséquilibrées, avec seulement quelques exemples pour la plupart des classes. Nous nous posons donc la question suivante : dans quelle mesure les réseaux de neurones parviennent-ils à transférer les invariances indépendantes de la classe, apprises à partir des grandes classes, vers les petites classes ? À travers des expérimentations soigneusement menées, nous observons que l’invariance vis-à-vis des transformations indépendantes de la classe reste fortement dépendante de la taille de la classe, les réseaux étant nettement moins invariants sur les classes petites. Ce résultat persiste même lorsqu’on applique des techniques d’équilibrage des données, ce qui suggère un transfert insuffisant des invariances entre classes. Nos résultats fournissent une explication possible du mauvais comportement de généralisation des classifieurs sur des distributions déséquilibrées ou à queue longue. À partir de cette analyse, nous montrons comment une approche générative pour apprendre les transformations nuisibles peut faciliter le transfert d’invariances entre classes et améliorer les performances sur une série de benchmarks de classification d’images déséquilibrés. Le code source de nos expériences est disponible à l’adresse suivante : https://github.com/AllanYangZhou/generative-invariance-transfer.