Un réseau d'attention croisée entièrement connecté pour l'extraction de relations à l'échelle du document

L'extraction de relations au niveau du document (document-level relation extraction, RE) vise à identifier les relations entre deux entités au sein d'un document donné. Contrairement à sa contrepartie au niveau de la phrase, l'extraction de relations au niveau du document exige un raisonnement plus complexe. Les recherches antérieures ont généralement mené ce raisonnement par propagation d'informations au niveau des mentions ou des entités dans un graphe documentaire, mais ont rarement pris en compte le raisonnement au niveau des paires d'entités. Dans cet article, nous proposons un nouveau modèle, appelé Dense-CCNet (Réseau d'attention croisée densément connectée), dédié à l'extraction de relations au niveau du document, capable de réaliser un raisonnement logique au niveau des paires d'entités. Plus précisément, le Dense-CCNet effectue ce raisonnement au niveau des paires d'entités grâce à une attention croisée (Criss-Cross Attention, CCA), qui permet de collecter des informations contextuelles dans les directions horizontale et verticale sur la matrice des paires d'entités, afin d'améliorer ainsi la représentation correspondante. En outre, nous connectons densément plusieurs couches de l'attention croisée afin de capturer simultanément les caractéristiques du raisonnement logique à un seul saut (single-hop) et à plusieurs sauts (multi-hop). Nous évaluons notre modèle Dense-CCNet sur trois jeux de données publics d'extraction de relations au niveau du document : DocRED, CDR et GDA. Les résultats expérimentaux démontrent que notre modèle atteint des performances de pointe sur ces trois jeux de données.