Résolution de la portée de la spéculation et de la négation à l'aide d'architectures basées sur les transformers

La spéculation est un phénomène naturel dans les données textuelles, constituant un élément intégral de nombreux systèmes, en particulier dans le domaine de la recherche d'information biomédicale. Les travaux précédents abordant la détection de signaux et la résolution de portée (les deux sous-tâches de la détection de spéculation) ont varié des systèmes basés sur des règles aux approches fondées sur l'apprentissage profond. Dans cet article, nous appliquons trois architectures populaires basées sur les transformateurs, BERT, XLNet et RoBERTa, à cette tâche, en utilisant deux jeux de données publiquement disponibles, le BioScope Corpus et le SFU Review Corpus, rapportant des améliorations substantielles par rapport aux résultats précédemment rapportés (au moins 0,29 points F1 pour la détection de signaux et 4,27 points F1 pour la résolution de portée). Nous avons également expérimenté l'entraînement conjoint du modèle sur plusieurs jeux de données, ce qui surpassait largement l'approche d'entraînement sur un seul jeu de données. Nous constatons que XLNet dépasse constamment BERT et RoBERTa, contrairement aux résultats obtenus sur d'autres jeux de données de référence. Pour confirmer cette observation, nous avons appliqué XLNet et RoBERTa à la détection de négation et à la résolution de portée négative, obtenant des résultats d'état de l'art pour la résolution de portée négative du BioScope Corpus (augmentation de 3,16 points F1 sur les articles complets du BioScope et 0,06 point F1 sur les résumés du BioScope) ainsi que pour le SFU Review Corpus (augmentation de 0,3 point F1).