Correction de métalabel pour l'apprentissage avec des étiquettes bruitées

L’exploitation d’une supervision faible ou bruitée pour la construction de modèles d’apprentissage automatique efficaces a toujours constitué un problème de recherche fondamental. Son importance s’est accrue récemment en raison de la croissante nécessité de grands ensembles de données pour entraîner des modèles d’apprentissage profond. Cette supervision faible ou bruitée peut provenir de multiples sources, notamment des annotateurs non experts ou des étiquetages automatiques basés sur des heuristiques ou des signaux d’interaction utilisateur. De nombreuses études antérieures se sont concentrées sur l’utilisation d’étiquettes bruitées. Plus particulièrement, des travaux récents ont démontré des gains remarquables en adoptant une approche d’ajustement des poids des instances fondée sur l’apprentissage métadonnées, dans laquelle un cadre d’apprentissage métadonnées est utilisé pour attribuer des poids aux instances étiquetées de manière bruyante. Dans cet article, nous étendons cette approche en reformulant le problème comme un problème de correction d’étiquettes au sein d’un cadre d’apprentissage métadonnées. Nous considérons le processus de correction d’étiquettes comme un métaprocessus et proposons un nouveau cadre fondé sur l’apprentissage métadonnées, appelé MLC (Meta Label Correction), pour l’apprentissage avec des étiquettes bruitées. Plus précisément, un réseau de correction d’étiquettes est utilisé comme métamodèle pour produire des étiquettes corrigées à partir des étiquettes bruyantes, tandis que le modèle principal est entraîné pour tirer parti des étiquettes corrigées. Les deux modèles sont entraînés conjointement en résolvant un problème d’optimisation bi-niveau. Nous menons des expériences approfondies avec différents niveaux et types de bruit d’étiquettes sur des tâches de reconnaissance d’images et de classification de texte. En comparant les approches d’ajustement des poids et de correction, nous montrons que la formulation par correction surmonte certaines limites de l’ajustement des poids. Nous démontrons également que l’approche proposée MLC permet d’obtenir des améliorations significatives par rapport aux méthodes antérieures dans de nombreux contextes.