Amélioration de la co-enseignement par une régularisation par compression face au bruit d'étiquetage

Dans cet article, nous étudions le problème de l'apprentissage de modèles de classification d'images en présence de bruit dans les étiquettes. Nous revisitons une régularisation par compression simple appelée Nested Dropout. Nous constatons que Nested Dropout, bien qu'originellement proposée pour permettre une récupération rapide de l'information et une compression adaptative des données, peut régulariser efficacement un réseau de neurones afin de lutter contre le bruit d'étiquetage. En outre, en raison de sa simplicité, elle peut être facilement combinée avec Co-teaching afin d'améliorer encore davantage les performances.Notre modèle final reste simple tout en étant efficace : il atteint des performances comparables, voire supérieures, aux approches les plus avancées sur deux jeux de données réels affectés par du bruit d'étiquetage, à savoir Clothing1M et ANIMAL-10N. Sur Clothing1M, notre méthode obtient une précision de 74,9 %, légèrement supérieure à celle de DivideMix. Sur ANIMAL-10N, nous atteignons une précision de 84,1 %, tandis que le meilleur résultat public disponible via PLC s'élève à 83,4 %. Nous espérons que notre approche simple puisse servir de référence solide pour l'apprentissage en présence de bruit d'étiquetage. Notre implémentation est disponible à l'adresse suivante : https://github.com/yingyichen-cyy/Nested-Co-teaching.