ScatSimCLR : apprentissage contrastif auto-supervisé avec régularisation par tâche prétexte pour des jeux de données à petite échelle

Dans cet article, nous abordons un problème d’apprentissage auto-supervisé sur des jeux de données de petite taille, fondé sur une perte contrastive entre plusieurs vues des données, qui a démontré des performances de pointe dans les tâches de classification. Malgré les résultats rapportés, des facteurs tels que la complexité de l’entraînement nécessitant des architectures complexes, le nombre de vues requis par augmentation de données, ainsi que leur impact sur la précision de classification, restent des problèmes sous-étudiés. Afin d’élucider le rôle de ces facteurs, nous examinons une architecture de système de perte contrastive telle que SimCLR, dans laquelle le modèle de base est remplacé par un réseau « à main levée » géométriquement invariant, ScatNet, couplé à un petit réseau d’adaptation entraînable. Nous montrons que le nombre total de paramètres du système ainsi que le nombre de vues peuvent être significativement réduits tout en préservant pratiquement la même précision de classification. En outre, nous étudions l’impact de différentes stratégies de régularisation fondées sur l’apprentissage d’une tâche prétexte, basée sur l’estimation des paramètres des transformations d’augmentation, telles que la rotation et la permutation en casse-tête (jigsaw), tant pour les modèles de base traditionnels que pour les modèles basés sur ScatNet. Enfin, nous démontrons que l’architecture proposée, combinée à une régularisation par apprentissage de tâche prétexte, atteint des performances de classification de pointe avec un nombre réduit de paramètres entraînables et un nombre diminué de vues.