CrossWeigh : Formation d'un étiqueteur d'entités nommées à partir d'annotations imparfaites

Tout le monde fait des erreurs. Les annotateurs humains ne font pas exception lorsqu'ils créent des étiquettes pour la reconnaissance d'entités nommées (NER). De telles erreurs d'étiquetage peuvent nuire à l'entraînement des modèles et interférer avec les comparaisons de modèles. Dans cette étude, nous nous penchons sur l'un des ensembles de données de référence NER largement adoptés, CoNLL03 NER. Nous sommes capables d'identifier des erreurs d'étiquetage dans environ 5,38 % des phrases de test, ce qui est un ratio significatif compte tenu du fait que le score F1 de test de pointe est déjà d'environ 93 %. Par conséquent, nous corrigeons manuellement ces erreurs d'étiquetage et formons un ensemble de test plus propre. Notre réévaluation des modèles populaires sur cet ensemble de test corrigé conduit à des évaluations plus précises, par rapport à celles effectuées sur l'ensemble de test original. Plus important encore, nous proposons un cadre simple mais efficace, CrossWeigh, pour gérer les erreurs d'étiquetage pendant l'entraînement du modèle NER. Plus précisément, il divise les données d'entraînement en plusieurs lots et entraîne des modèles NER indépendants pour identifier les erreurs potentielles dans chaque lot. Ensuite, il ajuste les poids des données d'entraînement en conséquence pour entraîner le modèle NER final. Des expériences approfondies démontrent une amélioration significative lorsque différents modèles NER sont intégrés dans notre cadre proposé sur trois ensembles de données. Toutes les implémentations et l'ensemble de test corrigé sont disponibles sur notre dépôt Github : https://github.com/ZihanWangKi/CrossWeigh.