HyperAIHyperAI
il y a 17 jours

Extraction de relations à l'échelle du document avec une perte focal adaptative et une distillation de connaissances

Qingyu Tan, Ruidan He, Lidong Bing, Hwee Tou Ng
Extraction de relations à l'échelle du document avec une perte focal adaptative et une distillation de connaissances
Résumé

L'extraction de relations à l'échelle du document (DocRE) constitue une tâche plus complexe que son homologue à l'échelle de la phrase. Elle vise à extraire des relations à partir de plusieurs phrases simultanément. Dans cet article, nous proposons un cadre semi-supervisé pour la DocRE, intégrant trois composants novateurs. Premièrement, nous utilisons un module d'attention axiale pour modéliser les dépendances inter-entités entre paires d'entités, ce qui améliore les performances sur les relations à deux sauts. Deuxièmement, nous introduisons une perte focalisée adaptative afin de traiter le problème d'imbalance de classes caractéristique de la DocRE. Troisièmement, nous appliquons la distillation de connaissances pour atténuer les différences entre les données annotées par des humains et les données supervisées à distance. Nous avons mené des expériences sur deux jeux de données DocRE. Notre modèle dépasse de manière cohérente les baselines performantes, atteignant un gain de 1,36 point F1 et de 1,46 point Ign_F1 par rapport à l'état de l'art précédent sur le classement DocRED. Le code et les données seront publiés à l'adresse suivante : https://github.com/tonytan48/KD-DocRE.