MV-MR : vues multiples et représentations multiples pour l'apprentissage auto-supervisé et la distillation de connaissances

Nous présentons une nouvelle méthode d'apprentissage auto-supervisé et de distillation de connaissances basée sur les vues multiples et les représentations multiples (MV-MR). Le MV-MR repose sur la maximisation de la dépendance entre les plongements apprenables issus des vues augmentées et non augmentées, conjointement avec la maximisation de la dépendance entre les plongements apprenables issus des vues augmentées et plusieurs représentations non apprenables issues des vues non augmentées. Nous montrons que la méthode proposée peut être utilisée pour une classification auto-supervisée efficace et une distillation de connaissances agnostique du modèle. Contrairement à d'autres techniques d'apprentissage auto-supervisé, notre approche ne fait usage d'aucun apprentissage par contraste, de clustering ou de stop gradients. Le MV-MR est un cadre générique permettant l'intégration de contraintes sur les plongements apprenables grâce à l'utilisation de représentations multiples d'images comme régularisateurs. Dans cette perspective, la distillation de connaissances est considérée comme un cas particulier d'une telle régularisation. Le MV-MR offre des performances au niveau de l'état de l'art sur les jeux de données STL10 et ImageNet-1K parmi les méthodes sans apprentissage par contraste et sans clustering. Nous montrons qu'un modèle ResNet50 à complexité réduite préentraîné en utilisant la distillation de connaissances proposée basée sur le modèle CLIP ViT atteint des performances au niveau de l'état de l'art lors de l'évaluation linéaire sur STL10. Le code est disponible à : https://github.com/vkinakh/mv-mr