ReMixMatch : Apprentissage semi-supervisé avec alignement de distribution et ancrage d'augmentation

Nous améliorons l'algorithme de apprentissage semi-supervisé récemment proposé, « MixMatch », en introduisant deux nouvelles techniques : l’alignement de distribution et l’ancrage d’augmentation. L’alignement de distribution encourage la distribution marginale des prédictions sur les données non étiquetées à se rapprocher de la distribution marginale des étiquettes vérité terrain. L’ancrage d’augmentation consiste à injecter dans le modèle plusieurs versions fortement augmentées d’un même échantillon, tout en incitant chaque sortie à être proche de la prédiction associée à une version faiblement augmentée du même échantillon. Pour générer des augmentations fortes, nous proposons une variante d’AutoAugment qui apprend la politique d’augmentation pendant l’entraînement du modèle. Notre nouvel algorithme, baptisé ReMixMatch, est nettement plus efficace en termes de données que les méthodes antérieures, nécessitant entre 5 et 16 fois moins de données pour atteindre la même précision. Par exemple, sur CIFAR-10 avec seulement 250 exemples étiquetés, nous atteignons une précision de 93,73 % (contre 93,58 % pour MixMatch avec 4 000 exemples), et une précision médiane de 84,92 % avec seulement quatre étiquettes par classe. Nous mettons notre code et nos données à disposition sous licence open source à l’adresse suivante : https://github.com/google-research/remixmatch.