Contrairement à Diviser : Pré-entraînement Auto-supervisé pour l'Apprentissage avec des Étiquettes Bruyantes

Le succès des méthodes d'apprentissage avec des étiquettes bruitées (LNL) repose fortement sur l'efficacité d'une phase d'initialisation (warm-up), durant laquelle une entraînement supervisé standard est effectué sur l'ensemble d'entraînement complet (bruité). Dans cet article, nous identifions un « obstacle d'initialisation » : la difficulté des phases d'initialisation classiques à entraîner des extracteurs de caractéristiques de haute qualité et à éviter la mémorisation des étiquettes erronées. Nous proposons un cadre simple appelé « Contraste pour Diviser » (C2D), qui résout ce problème en pré-entraînant l'extracteur de caractéristiques de manière auto-supervisée. Ce pré-entraînement auto-supervisé améliore considérablement les performances des méthodes LNL existantes en réduisant fortement la sensibilité de la phase d'initialisation au niveau de bruit, en raccourcissant sa durée et en améliorant la qualité des caractéristiques extraites. Le cadre C2D est directement compatible avec les méthodes existantes et montre une amélioration marquée des performances, en particulier dans les régimes à fort bruit, où nous obtenons une amélioration de plus de 27 % sur CIFAR-100 avec 90 % de bruit par rapport à l’état de l’art précédent. Dans des scénarios réels de bruit, C2D entraîné sur mini-WebVision dépasse les travaux antérieurs de 3 % en précision top-1 sur les ensembles de validation WebVision et ImageNet. Nous menons une analyse approfondie du cadre, incluant une étude comparative des différentes approches de pré-entraînement et une estimation de la borne supérieure effective des performances LNL dans un cadre semi-supervisé. Le code permettant de reproduire nos expériences est disponible à l’adresse suivante : https://github.com/ContrastToDivide/C2D