Entraînement de classifieurs universellement robustes à toutes les niveaux de bruit d'étiquettes

Pour les tâches de classification, les réseaux de neurones profonds sont sujets au surajustement en présence de bruit dans les étiquettes. Bien que les méthodes existantes permettent de réduire ce problème à faible niveau de bruit, elles subissent une dégradation significative des performances à des niveaux élevés de bruit, voire à des niveaux moyens lorsque le bruit est asymétrique. Afin d’entraîner des classifieurs robustes de manière universelle à tous les niveaux de bruit, et insensibles à toute variation du modèle de bruit, nous proposons un cadre fondé sur la distillation, intégrant une nouvelle sous-catégorie de l’apprentissage positif-non étiqueté (Positive-Unlabeled learning). Plus précisément, nous supposons qu’un petit sous-ensemble d’un jeu de données bruité donné est connu pour avoir des étiquettes correctes, que nous traitons comme « positifs », tandis que le reste du sous-ensemble bruité est considéré comme « non étiqueté ». Notre cadre se compose de deux composants principaux : (1) nous générons, par des mises à jour itératives, un sous-ensemble nettoyé étendu comprenant des échantillons supplémentaires fiables « positifs » extraits des échantillons « non étiquetés » ; (2) nous entraînons un modèle « enseignant » sur cet ensemble nettoyé agrandi. Guidé par ce modèle enseignant, nous entraînons ensuite un modèle « élève » sur l’ensemble complet du jeu de données. Des expériences ont été menées sur le jeu de données CIFAR-10 avec un bruit d’étiquettes synthétique à plusieurs niveaux de bruit, pour des cas symétriques et asymétriques. Les résultats montrent que notre cadre surpasse généralement les méthodes existantes aux niveaux moyens à élevés de bruit. Nous avons également évalué notre cadre sur Clothing1M, un jeu de données réel bruité, où nous avons obtenu une amélioration de 2,94 % en précision par rapport aux méthodes de pointe actuelles.