Extraction conjointe d'entités et de relations basée sur des intervalles avec pré-entraînement par Transformer

Nous introduisons SpERT, un modèle d'attention pour l'extraction conjointe d'entités et de relations basée sur des segments (spans). Notre apport principal réside dans un raisonnement léger appliqué aux embeddings BERT, qui intègre la reconnaissance et le filtrage d'entités, ainsi que la classification de relations grâce à une représentation contextuelle localisée et sans marqueurs. Le modèle est entraîné à l'aide d'échantillons négatifs forts au sein des phrases, extraits efficacement en une seule passe de BERT. Ces caractéristiques permettent une exploration complète de tous les segments présents dans une phrase.Dans des études d'ablation, nous démontrons les avantages de la pré-formation, de l'échantillonnage négatif fort et du contexte localisé. Notre modèle dépasse les travaux antérieurs de jusqu'à 2,6 points de score F1 sur plusieurs jeux de données d'extraction conjointe d'entités et de relations.