Comment le désaccord aide-t-il la généralisation face à la corruption des étiquettes ?

L'apprentissage avec des étiquettes bruitées est l'un des problèmes les plus actuels de l'apprentissage faiblement supervisé. En se basant sur les effets de mémorisation des réseaux neuronaux profonds, la formation sur des instances à faible perte devient très prometteuse pour gérer les étiquettes bruitées. Cela a favorisé l'approche de pointe appelée « Co-teaching » qui forme croisément deux réseaux neuronaux profonds en utilisant la technique de faible perte. Cependant, avec l'augmentation du nombre d'époques, les deux réseaux convergent vers un consensus et le Co-teaching se réduit à l'auto-formation par MentorNet. Pour résoudre ce problème, nous proposons un paradigme d'apprentissage robuste appelé Co-teaching+, qui relie la stratégie « Mise à jour par désaccord » (Update by Disagreement) au Co-teaching original. Tout d'abord, les deux réseaux effectuent une propagation avant et prédissent toutes les données, mais ne conservent que celles où leurs prédictions sont en désaccord. Ensuite, parmi ces données en désaccord, chaque réseau sélectionne ses propres données à faible perte, mais propage en arrière les données à faible perte issues du réseau pair et met à jour ses propres paramètres. Les résultats empiriques sur des jeux de données de référence démontrent que Co-teaching+ est nettement supérieur à de nombreuses méthodes de pointe en termes de robustesse des modèles formés.