ESPT : Une tâche prétexte spatiale épisodique auto-supervisée pour améliorer l’apprentissage peu supervisé

Les techniques d’apprentissage auto-supervisé (SSL) ont récemment été intégrées dans le cadre de l’apprentissage peu étiqueté (FSL) et ont montré des résultats prometteurs pour améliorer les performances de classification d’images en peu d’exemples. Toutefois, les approches SSL existantes utilisées dans le FSL cherchent généralement les signaux de supervision à partir de l’encodage global de chaque image individuelle. Par conséquent, durant l’entraînement épisodique du FSL, ces méthodes ne parviennent pas à capturer ni à exploiter pleinement les informations visuelles locales présentes dans les échantillons d’images, ni les informations structurelles du jeu de données complet de chaque épisode, qui sont néanmoins bénéfiques pour le FSL. À cet effet, nous proposons d’enrichir l’objectif du FSL par une nouvelle tâche prétexte auto-supervisée spatiale épisodique (ESPT). Plus précisément, pour chaque épisode de FSL, nous générons un épisode transformé en appliquant une transformation géométrique aléatoire à toutes les images de cet épisode. À partir de ces deux épisodes (original et transformé), notre objectif ESPT est défini comme la maximisation de la cohérence des relations spatiales locales entre l’épisode original et l’épisode transformé. Grâce à cette formulation, l’objectif du FSL enrichi par ESPT favorise l’apprentissage de représentations fonctionnelles plus transférables, capables de capturer les caractéristiques spatiales locales de différentes images ainsi que les informations structurelles interrelationnelles présentes dans chaque épisode d’entrée, permettant ainsi au modèle de généraliser mieux à de nouvelles catégories à partir de très peu d’exemples. Des expérimentations étendues montrent que notre méthode ESPT atteint de nouveaux résultats d’état de l’art pour la classification d’images en peu d’exemples sur trois jeux de données standards. Le code source sera disponible à l’adresse suivante : https://github.com/Whut-YiRong/ESPT.