L'auto-supervision peut être un bon apprenant à partir de peu d'exemples.

Les méthodes actuelles d'apprentissage par apprentissage à faibles données (Few-Shot Learning, FSL) reposent sur l'entraînement avec un grand ensemble de données étiquetées, ce qui les empêche d'exploiter les nombreuses données non étiquetées disponibles. D'un point de vue théorique de l'information, nous proposons une méthode FSL non supervisée efficace, basée sur l'apprentissage auto-supervisé. En suivant le principe InfoMax, notre méthode apprend des représentations exhaustives en capturant la structure intrinsèque des données. Plus précisément, nous maximisons l'information mutuelle (MI) entre les instances et leurs représentations à l'aide d'un estimateur de MI à faible biais pour effectuer un pré-entraînement auto-supervisé. Contrairement au pré-entraînement supervisé qui se concentre sur les caractéristiques discriminantes des classes observées, notre modèle auto-supervisé présente moins de biais envers ces classes, ce qui entraîne une meilleure généralisation pour les classes non observées. Nous expliquons que le pré-entraînement supervisé et le pré-entraînement auto-supervisé maximisent en réalité des objectifs d'information mutuelle différents. Des expériences approfondies sont également menées pour analyser leurs performances FSL dans diverses configurations d'entraînement. De manière surprenante, les résultats montrent que le pré-entraînement auto-supervisé peut surpasser le pré-entraînement supervisé sous certaines conditions appropriées. Comparé aux méthodes FSL les plus avancées actuellement disponibles, notre approche atteint des performances comparables sur des benchmarks FSL largement utilisés sans utiliser aucune étiquette des classes de base.