Apprentissage à partir d'étiquettes bruitées pour l'extraction d'information centrée sur les entités

Les approches récentes d'extraction d'information s'appuient sur l'entraînement de modèles neuronaux profonds. Toutefois, de tels modèles sont susceptibles de surajuster des étiquettes bruitées et de subir une dégradation de performance. Bien que le filtrage des étiquettes bruitées dans de grandes ressources d'apprentissage soit très coûteux, des études récentes montrent que ces étiquettes nécessitent plus d'étapes d'entraînement pour être mémorisées et sont plus fréquemment oubliées que les étiquettes propres, ce qui les rend identifiables durant l'entraînement. Motivés par ces propriétés, nous proposons un cadre simple de co-régularisation pour l'extraction d'information centrée sur les entités, composé de plusieurs modèles neuronaux ayant la même structure mais des initialisations de paramètres différentes. Ces modèles sont optimisés conjointement à l'aide de pertes spécifiques à la tâche, tout en étant régularisés pour produire des prédictions similaires grâce à une perte d'accord, ce qui empêche le surajustement aux étiquettes bruitées. Des expériences étendues sur deux benchmarks largement utilisés mais bruyants pour l'extraction d'information, TACRED et CoNLL03, démontrent l'efficacité de notre cadre. Nous mettons notre code à disposition de la communauté afin de faciliter les recherches futures.