FeatMatch : Augmentation basée sur les caractéristiques pour l'apprentissage semi-supervisé

Les méthodes récentes de pointe en apprentissage semi-supervisé (SSL) reposent sur une combinaison de transformations basées sur les images et de la régularisation par cohérence comme composants essentiels. Toutefois, ces approches sont limitées à des transformations simples, telles que les augmentations classiques des données ou des combinaisons convexes de deux images. Dans cet article, nous proposons une nouvelle méthode d’affinement et d’augmentation fondée sur les caractéristiques apprises, capable de générer un ensemble varié de transformations complexes. Ces transformations exploitent de manière cruciale des informations provenant à la fois des représentations prototypiques intra-classe et inter-classe, extraites par clustering. Nous utilisons des caractéristiques déjà calculées au cours des itérations, en les stockant dans une mémoire tampon, ce qui élimine le besoin de calculs supplémentaires significatifs. Ces transformations, combinées à des augmentations traditionnelles basées sur les images, sont ensuite intégrées dans la fonction de perte de régularisation fondée sur la cohérence. Nous démontrons que notre méthode atteint des performances comparables aux états de l’art sur des jeux de données plus petits (CIFAR-10 et SVHN), tout en étant capable de s’échelonner efficacement à des jeux de données plus volumineux tels que CIFAR-100 et mini-Imagenet, où elle obtient des gains significatifs par rapport aux approches existantes (par exemple, une amélioration absolue de 17,44 % sur mini-ImageNet). Nous validons également notre méthode sur DomainNet, en montrant une meilleure robustesse face aux données non étiquetées hors domaine, et menons des analyses ablatives rigoureuses ainsi qu’une analyse approfondie pour étayer la pertinence de notre approche.