Lutte contre les étiquettes bruyantes par accord : une méthode d'entraînement conjoint avec co-régularisation

L’apprentissage profond avec des étiquettes bruitées constitue un problème pratique difficile dans le cadre de l’apprentissage faiblement supervisé. Les approches les plus récentes, telles que « Decoupling » et « Co-teaching+ », affirment que la stratégie basée sur le « désaccord » est essentielle pour atténuer les effets du bruit dans les étiquettes. Dans cet article, nous adoptons une perspective différente et proposons un paradigme d’apprentissage robuste appelé JoCoR, dont l’objectif est de réduire la diversité entre deux réseaux durant l’entraînement. Plus précisément, nous utilisons deux réseaux pour produire des prédictions sur les mêmes données d’un mini-batch, puis calculons une perte conjointe pour chaque exemple d’entraînement en appliquant une régularisation conjointe (Co-Regularization). Ensuite, nous sélectionnons les exemples ayant une faible perte afin de mettre à jour simultanément les paramètres des deux réseaux. Grâce à cette perte conjointe, les deux réseaux deviennent progressivement plus similaires sous l’effet de la régularisation conjointe. Des expérimentations étendues sur des données altérées provenant de jeux de données standards — notamment MNIST, CIFAR-10, CIFAR-100 et Clothing1M — démontrent que JoCoR surpasser de nombreuses approches de pointe dans le cadre de l’apprentissage avec des étiquettes bruitées.