NegBERT : Une approche d'apprentissage par transfert pour la détection de négation et la résolution de portée

La négation est une caractéristique importante du langage et un composant majeur de l'extraction d'information à partir du texte. Cette sous-tâche revêt une importance considérable dans le domaine biomédical. Au fil des années, de nombreuses approches ont été explorées pour résoudre ce problème : les systèmes basés sur des règles, les classifieurs d'apprentissage automatique, les modèles de champs aléatoires conditionnels (Conditional Random Field Models), les réseaux neuronaux convolutifs (CNNs) et plus récemment les réseaux de neurones bidirectionnels à longue portée court-circuitée (BiLSTMs). Dans cet article, nous examinons l'application de l'apprentissage par transfert à ce problème. Tout d'abord, nous passons en revue de manière exhaustive la littérature précédente traitant de la détection de négation et de la résolution de portée sur les 3 jeux de données qui ont gagné en popularité au fil des années : le BioScope Corpus, le jeu de données Sherlock et le SFU Review Corpus. Nous explorons ensuite les choix décisionnels impliqués dans l'utilisation de BERT, un modèle populaire d'apprentissage par transfert, pour cette tâche, et nous rapportons des résultats d'avant-garde pour la résolution de portée sur l'ensemble des 3 jeux de données. Notre modèle, appelé NegBERT, obtient un score F1 au niveau des tokens pour la résolution de portée de 92,36 sur le jeu de données Sherlock, 95,68 sur le sous-corpus BioScope Abstracts, 91,24 sur le sous-corpus BioScope Full Papers et 90,95 sur le SFU Review Corpus, surpassant largement les systèmes d'avant-garde précédents. Nous analysons également la généralisabilité du modèle aux jeux de données sur lesquels il n'a pas été formé.