BERT-GT : Extraction de relations n-aire inter-sentences avec BERT et Graph Transformer

Une déclaration de relation biomédicale est généralement exprimée en plusieurs phrases et comprend de nombreux concepts, tels que les gènes, les maladies, les produits chimiques et les mutations. Pour extraire automatiquement des informations à partir de la littérature biomédicale, les approches actuelles de fouille textuelle biomédicale formulent généralement le problème comme une tâche d'extraction de relations n-aire inter-sentences, qui détecte les relations entre n entités réparties dans plusieurs phrases, en utilisant soit un réseau neuronal graphique (GNN) avec une mémoire à court et long terme (LSTM), soit un mécanisme d'attention. Récemment, le modèle Transformer a été montré comme surpassant l'LSTM dans de nombreuses tâches de traitement du langage naturel (NLP). Dans ce travail, nous proposons une nouvelle architecture qui combine les représentations bidirectionnelles des encodeurs issus des Transformers avec le Graph Transformer (BERT-GT), en intégrant un mécanisme d'attention voisinage dans l'architecture BERT. Contrairement à l'architecture Transformer originale, qui utilise l'intégralité de la ou des phrases pour calculer l'attention du jeton actuel, le mécanisme d'attention voisinage de notre méthode calcule son attention en utilisant uniquement ses jetons voisins. Ainsi, chaque jeton peut prêter attention aux informations de ses voisins avec peu de bruit. Nous montrons que cela est particulièrement crucial lorsque le texte est très long, comme c'est le cas dans les tâches d'extraction de relations inter-sentences ou au niveau des résumés. Nos résultats d'évaluation montrent des améliorations de 5,44 % et 3,89 % en précision et en mesure F1 par rapport à l'état de l'art sur les jeux de données d'extraction de relations n-aire et produit chimique-protéine, suggérant que BERT-GT est une approche robuste applicable à d'autres tâches ou jeux de données d'extraction de relations biomédicales.