OntoGUM : Évaluation de la Résolution de Coreférence de Pointe Contextualisée sur 12 Autres Genre

Les systèmes actuels d’analyse de coreférance (SOTA) obtiennent des scores de plus en plus impressionnants sur le benchmark OntoNotes. Toutefois, le manque de données comparables suivant le même schéma pour un plus grand nombre de genres rend difficile l’évaluation de leur généralisation sur des données de domaine ouvert. Ce papier présente un nouveau jeu de données ainsi qu’une évaluation complète qui montrent que les derniers systèmes neuronaux basés sur les modèles de langage (LM) en approche end-to-end subissent une dégradation très importante en dehors de leur domaine d’entraînement. Nous rendons publique une base de données de coreférance de type OntoNotes, appelée OntoGUM, extraite du corpus anglais GUM, couvrant 12 genres, à l’aide de règles déterministes, que nous évaluons. Grâce aux annotations riches en syntaxe et en discours présentes dans GUM, nous parvenons à construire le plus grand corpus humainement annoté de coreférance respectant les lignes directrices d’OntoNotes, et le premier à avoir été évalué pour sa cohérence avec le schéma d’OntoNotes. L’évaluation hors domaine sur les 12 genres révèle une dégradation de près de 15 à 20 % pour les systèmes à règles déterministes comme pour ceux basés sur l’apprentissage profond, indiquant un manque de généralisation ou une surajustement implicite dans les modèles actuels d’analyse de coreférance.