Extraction de relations à l'échelle du document avec un encodeur Transformer amélioré par la structure

L'extraction de relations à l'échelle du document vise à identifier les faits relationnels entre les paires d'entités présentes dans un document, un domaine qui suscite un intérêt croissant ces dernières années. La plupart des méthodes existantes se répartissent principalement en deux catégories : celles fondées sur les graphes et celles basées sur les transformateurs. Toutefois, les approches précédentes basées sur les transformateurs négligent souvent les informations structurelles entre les entités, tandis que les méthodes basées sur les graphes peinent à extraire efficacement ces informations structurelles, en raison de la séparation entre l'étape d'encodage et celle du raisonnement structurel. Dans ce travail, nous proposons un modèle d'encodeur transformateur amélioré par l'information structurelle (SETE), intégrant explicitement les informations structurelles des entités dans l'encodeur transformateur. Nous définissons d'abord un graphe au niveau des mentions à partir des dépendances entre mentions, puis le transformons en un graphe au niveau des tokens. Ensuite, nous concevons un mécanisme d'attention auto-dédié en double, qui enrichit à la fois les informations structurelles et contextuelles entre les entités, renforçant ainsi la capacité d'inférence de l'encodeur transformateur classique. Des expériences menées sur trois jeux de données publics montrent que le modèle SETE surpassent les méthodes de l'état de l'art précédentes, et des analyses complémentaires illustrent la capacité d'interprétabilité de notre approche.