Amélioration des performances de l’apprentissage semi-supervisé grâce au regroupement non supervisé

Récemment, l’apprentissage semi-supervisé (SSL) s’est révélé prometteur pour exploiter efficacement les données non étiquetées tout en disposant de très peu d’étiquettes. Dans cet article, nous montrons qu’en ignorant délibérément les étiquettes pendant des epochs entières de manière intermittente durant l’entraînement, on peut améliorer de manière significative les performances dans le régime à faible échantillonnage. Plus précisément, nous proposons d’entraîner un réseau sur deux tâches simultanément. La tâche principale de classification est soumise à la fois aux données non étiquetées et aux données peu étiquetées, tandis que la tâche secondaire vise à regrouper les données sans aucune étiquette. Contrairement aux tâches prétextes souvent conçues à la main dans le cadre de l’auto-supervision, notre phase de clustering utilise le même réseau de classification et la même tête, dans le but de relâcher la contrainte de la tâche principale et de propager l’information provenant des étiquettes sans surajuster celles-ci. Par ailleurs, nous intégrons pendant la phase d’apprentissage non supervisé une technique d’auto-supervision basée sur la classification des rotations d’images, afin de stabiliser l’entraînement. Nous démontrons l’efficacité de notre méthode pour améliorer plusieurs algorithmes d’SSL de pointe, en améliorant significativement leurs résultats tout en réduisant le temps d’exécution sur diverses benchmarks standards en apprentissage semi-supervisé. Nous obtenons ainsi une précision de 92,6 % sur CIFAR-10 et 96,9 % sur SVHN, en utilisant uniquement 4 étiquettes par classe pour chaque tâche. Nous améliorons également notablement les performances dans des cas extrêmes comportant respectivement 1, 2 et 3 étiquettes par classe, et montrons que les caractéristiques apprises par notre modèle sont plus pertinentes pour séparer les données.