Apprentissage pour la dénoising de données étiquetées à distance pour le typage d'entités

Les données étiquetées à distance peuvent être utilisées pour élargir l'entraînement des modèles statistiques, mais elles sont généralement bruyantes et ce bruit peut varier en fonction de la technique d'étiquetage à distance. Dans cette étude, nous proposons une procédure en deux étapes pour traiter ce type de données : les débruiter avec un modèle appris, puis entraîner notre modèle final sur des données à distance propres et débruitées avec une formation supervisée standard. Notre approche de débruitage se compose de deux parties. Premièrement, une fonction de filtrage élimine les exemples des données étiquetées à distance qui sont entièrement inutilisables. Deuxièmement, une fonction de réétiquetage corrige les étiquettes bruyantes pour les exemples conservés. Chacun de ces composants est un modèle entraîné sur des exemples bruités artificiellement générés à partir d'un petit ensemble manuellement étiqueté. Nous examinons cette approche dans le cadre de la tâche d'étiquetage d'entités ultra-fines de Choi et al. (2018). Notre modèle de référence est une extension de leur modèle avec des représentations ELMo pré-entraînées, qui atteint déjà des performances au niveau de l'état de l'art. L'ajout de données à distance débruitées par nos modèles appris apporte des gains supplémentaires en performance par rapport à ce modèle de base, surpassant les modèles entraînés sur des données à distance brutes ou débruitées heuristiquement.