DivideMix : Apprentissage avec des étiquettes bruitées comme un apprentissage semi-supervisé

Les réseaux de neurones profonds sont connus pour leur forte dépendance aux annotations. De nombreux efforts ont été déployés afin de réduire les coûts d’annotation lors de l’apprentissage avec ces réseaux. Deux approches majeures s’imposent : l’apprentissage avec des étiquettes bruitées et l’apprentissage semi-supervisé en exploitant les données non étiquetées. Dans ce travail, nous proposons DivideMix, un cadre novateur pour l’apprentissage avec des étiquettes bruitées en s’appuyant sur des techniques d’apprentissage semi-supervisé. Plus précisément, DivideMix modélise la distribution de perte par échantillon à l’aide d’un modèle de mélange afin de diviser dynamiquement les données d’entraînement en un ensemble étiqueté composé d’échantillons propres et un ensemble non étiqueté composé d’échantillons bruités, puis entraîne le modèle de manière semi-supervisée sur les deux ensembles. Pour éviter le biais de confirmation, nous entraînons simultanément deux réseaux divergents, chacun utilisant la division du jeu de données fournie par l’autre réseau. Pendant la phase d’apprentissage semi-supervisé, nous améliorons la stratégie MixMatch en appliquant une révision mutuelle des étiquettes sur les échantillons étiquetés et une prédiction mutuelle des étiquettes sur les échantillons non étiquetés. Des expériences menées sur plusieurs jeux de données standards montrent des améliorations significatives par rapport aux méthodes de pointe. Le code est disponible à l’adresse suivante : https://github.com/LiJunnan1992/DivideMix.