Protection des Barlow Twins contre le surapprentissage grâce à des échantillons mixtes

L’apprentissage auto-supervisé (SSL) vise à apprendre des représentations de caractéristiques transférables pour des applications ultérieures sans dépendre de données étiquetées. L’algorithme Barlow Twins, largement adopté et facile à mettre en œuvre par rapport à d’autres méthodes comme l’apprentissage contrastif, minimise la redondance des caractéristiques tout en maximisant l’invariance aux perturbations courantes. L’optimisation de cet objectif pousse le réseau à apprendre des représentations utiles, tout en évitant les caractéristiques bruitées ou constantes, ce qui améliore la performance sur les tâches ultérieures avec une adaptation limitée. Malgré l’efficacité prouvée de Barlow Twins en phase de pré-entraînement, son objectif SSL fondamental peut entraîner une surapprentissage des caractéristiques en raison du manque d’interaction forte entre les échantillons, contrairement aux approches d’apprentissage contrastif. À partir de nos expériences, nous observons qu’optimiser l’objectif de Barlow Twins ne garantit pas nécessairement une amélioration continue de la qualité des représentations au-delà d’un certain stade de pré-entraînement, et peut même dégrader la performance sur certaines tâches. Pour relever ce défi, nous proposons Mixed Barlow Twins, une méthode visant à améliorer l’interaction entre les échantillons pendant l’entraînement de Barlow Twins via des échantillons interpolés linéairement. Cela introduit un terme supplémentaire de régularisation à l’objectif original de Barlow Twins, sous l’hypothèse que l’interpolation linéaire dans l’espace d’entrée se traduit par une interpolation linéaire dans l’espace des caractéristiques. L’entraînement préalable avec cette régularisation permet efficacement de réduire le surapprentissage des caractéristiques et d’améliorer davantage la performance sur les jeux de données CIFAR-10, CIFAR-100, TinyImageNet, STL-10 et ImageNet. Le code et les points de contrôle sont disponibles à l’adresse suivante : https://github.com/wgcban/mix-bt.git