Intrinsèque et cohérent : apprentissage non supervisé de représentations pour la reconnaissance visuelle à peu de exemples

La reconnaissance visuelle à peu de exemples vise à identifier des classes inédites et non vues à partir de très peu d'étiquettes, tout en apprenant des connaissances générales à partir des classes de base. Des approches récentes proposent d’aborder ce problème dans un cadre non supervisé, c’est-à-dire sans aucune étiquette disponible pour les classes de base, ce qui réduit fortement la consommation de annotations manuelles. Dans cet article, nous nous appuyons sur une intuition d’apprentissage auto-supervisé et proposons une nouvelle méthode d’apprentissage non supervisé pour la tâche à peu de exemples, basée sur la construction conjointe de représentations invariantes et cohérentes (InCo). Pour l’opération de représentation invariante, nous introduisons un module d’invariance géométrique permettant de prédire la rotation de chaque instance, ce qui permet d’apprendre la variabilité intra-instance et d’améliorer la discrimination des caractéristiques. Pour renforcer la cohérence des représentations inter-instance, nous proposons un module de cohérence par paires, fondé sur deux aspects d’apprentissage contrastif : un apprentissage contrastif global utilisant des files d’attente historiques d’entraînement, et un apprentissage contrastif local visant à améliorer la représentation des échantillons actuellement en apprentissage. En outre, afin de mieux favoriser l’apprentissage contrastif entre les caractéristiques, nous introduisons une architecture convolutive asymétrique pour encoder des représentations de haute qualité. Des expériences approfondies sur quatre benchmarks publics démontrent l’efficacité de notre approche ainsi que son avantage par rapport aux méthodes existantes.