Modélisation des corrélations entre étiquettes pour la typologie d'entités ultra-fine avec un champ aléatoire conditionnel pairwise neuronal

Le typage d'entités ultra-fines (UFET) vise à prédire une large gamme d'expressions de type qui décrivent correctement les catégories d'un mention d'entité donnée dans une phrase. La plupart des travaux récents infèrent chaque type d'entité de manière indépendante, en ignorant les corrélations entre les types : par exemple, si une entité est identifiée comme président, elle doit aussi être classée comme homme politique et comme leader. Pour remédier à ce problème, nous proposons de modéliser le problème UFET à l’aide d’un modèle graphique non orienté appelé champ aléatoire conditionnel pair à pair (PCRF), dans lequel les variables de type sont influencées non seulement de manière unaire par l’entrée, mais aussi de manière paire par toutes les autres variables de type. Nous utilisons diverses architectures modernes pour le typage d’entités afin de calculer les potentiels unaires, et dérivons les potentiels pair à pair à partir de représentations d’expressions de type, qui capturent à la fois des informations sémantiques a priori et permettent une inférence accélérée. Nous appliquons une inférence variationnelle de type moyenne (mean-field) pour une inférence efficace des types sur des ensembles très grands de types, et déroulons ce processus sous forme d’un module de réseau neuronal afin de permettre un apprentissage end-to-end. Les expériences sur UFET montrent que Neural-PCRF dépasse systématiquement ses architectures de base avec un coût négligeable, tout en atteignant des performances compétitives par rapport aux méthodes SOTA basées sur les cross-encodeurs, tout en étant mille fois plus rapide. Nous constatons également que Neural-PCRF est efficace sur un jeu de données largement utilisé pour le typage d’entités à granularité fine, même avec un ensemble de types plus restreint. Nous avons intégré Neural-PCRF dans un module réseau facilement pluguable sur des classificateurs multi-étiquettes, que nous mettons à disposition à l’adresse suivante : https://github.com/modelscope/adaseq/tree/master/examples/NPCRF.