Régularisation contrastive pour l'apprentissage semi-supervisé

La régularisation de cohérence sur les prédictions de labels devient une technique fondamentale dans l’apprentissage semi-supervisé, mais elle nécessite encore un grand nombre d’itérations d’entraînement pour atteindre de hautes performances. Dans cette étude, nous analysons que la régularisation de cohérence limite la propagation des informations de label en raison de l’exclusion des échantillons présentant des pseudo-labels peu fiables lors des mises à jour du modèle. Ensuite, nous proposons une régularisation contrastive afin d’améliorer à la fois l’efficacité et la précision de la régularisation de cohérence, en exploitant des caractéristiques bien regroupées des données non étiquetées. Plus précisément, après que des échantillons fortement augmentés ont été attribués à des clusters à l’aide de leurs pseudo-labels, notre régularisation contrastive met à jour le modèle de manière à ce que les caractéristiques associées à des pseudo-labels fiables s’agrègent au sein du même cluster, tout en étant repoussées par les caractéristiques provenant de clusters différents. Ainsi, les informations des pseudo-labels fiables peuvent être efficacement propagées à un plus grand nombre d’échantillons non étiquetés durant l’entraînement grâce aux caractéristiques bien regroupées. Sur des benchmarks d’apprentissage semi-supervisé, notre régularisation contrastive améliore les méthodes précédentes basées sur la cohérence et atteint des résultats de pointe, notamment avec un nombre réduit d’itérations d’entraînement. Notre méthode démontre également une robustesse remarquable sur des tâches d’apprentissage semi-supervisé à ensemble ouvert, où les données non étiquetées incluent des échantillons hors distribution.