Barlow Twins : Apprentissage non supervisé par réduction de redondance

L’apprentissage auto-supervisé (SSL) réduit rapidement l’écart avec les méthodes supervisées sur les grands benchmarks de vision par ordinateur. Une approche efficace du SSL consiste à apprendre des représentations (embeddings) invariantes aux distorsions appliquées à un échantillon d’entrée. Toutefois, un problème récurrent de cette méthode réside dans l’existence de solutions triviales constantes. La plupart des approches actuelles évitent ces solutions grâce à des détails d’implémentation soigneusement conçus. Nous proposons une fonction objectif qui évite naturellement le phénomène de « collapse » en mesurant la matrice de corrélation croisée entre les sorties de deux réseaux identiques alimentés par des versions distordues d’un même échantillon, et en la rendant aussi proche que possible de la matrice identité. Cette contrainte force les vecteurs d’embedding de différentes versions distordues d’un même échantillon à être similaires, tout en minimisant la redondance entre les composantes de ces vecteurs. La méthode est nommée Barlow Twins, en hommage au principe de réduction de redondance formulé par le neuroscientifique H. Barlow et appliqué ici à un couple de réseaux identiques. Barlow Twins ne nécessite ni grands lots (batches), ni asymétrie entre les deux réseaux, comme une architecture de prédiction, l’arrêt du gradient ou une moyenne mobile sur les mises à jour des poids. De manière intrigante, elle se distingue par une performance accrue avec des vecteurs de sortie très hautement dimensionnés. Barlow Twins surpasser les méthodes précédentes sur ImageNet pour la classification semi-supervisée dans le régime à faible quantité de données, et atteint les performances de l’état de l’art actuel pour la classification sur ImageNet avec un tête linéaire, ainsi que pour les tâches de transfert en classification et détection d’objets.