Amélioration de l'extraction de relations supervisée à distance grâce aux plongements de labels et d'instances basés sur BERT

L'extraction de relations supervisée à distance (RE) est une méthode efficace pour élargir l'application de l'RE à de grands corpus, mais elle souffre de labels bruyants. Les approches existantes tentent d'atténuer ce bruit par l'apprentissage multi-instance et en fournissant des informations supplémentaires, mais elles parviennent principalement à reconnaître les relations les plus fréquentes, négligeant celles qui se trouvent dans la queue longue. Nous proposons REDSandT (Extraction de Relations avec Supervision à Distance et Transformers), une nouvelle méthode d'RE supervisée à distance basée sur les transformers, capable de capturer un ensemble plus large de relations grâce à des plongements (embeddings) informatifs d'instances et de labels pour l'RE, en exploitant le modèle pré-entraîné BERT et la relation entre les labels et les entités, respectivement. Nous guidons REDSandT à se concentrer uniquement sur les jetons relationnels en affinant BERT sur une entrée structurée, incluant le sous-arbre reliant un couple d'entités ainsi que leurs types. En utilisant les vecteurs informatifs extraits, nous formons des plongements de labels, que nous utilisons également comme mécanisme d'attention sur les instances pour réduire davantage le bruit. Enfin, nous représentons les phrases en concaténant les plongements relationnels et d'instances. Les expériences menées sur le jeu de données NYT-10 montrent que REDSandT capture un ensemble plus vaste de relations avec une plus grande confiance, atteignant un AUC record (0,424).