Non signifie non ; une approche de modélisation non-impropre, intégrant un contexte spéculatif

Motivation : Les données médicales sont intrinsèquement complexes, les termes apparaissant dans les dossiers cliniques étant souvent utilisés dans des contextes variés. Dans ce travail, nous étudions la capacité de différents modèles biomédicaux (BioBERT, BioELECTRA, PubMedBERT) à comprendre les contextes de négation et de spéculation. Nous constatons que ces modèles peinent à distinguer clairement les contextes négatifs des contextes non négatifs. Pour évaluer leur compréhension, nous avons utilisé des scores de similarité cosinus entre les embeddings de phrases négatives et celles de phrases non négatives. Afin d’améliorer ces modèles, nous proposons une méthode générique de sur-ajustement (super-tuning) pour renforcer leurs embeddings dans les contextes de négation et de spéculation, en exploitant un jeu de données synthétisé.Résultats : Après le sur-ajustement, les embeddings des modèles montrent une meilleure compréhension des contextes négatifs et spéculatifs. En outre, en fin-tunant les modèles sur plusieurs tâches, nous constatons qu’ils surpassent les modèles précédents et atteignent l’état de l’art (SOTA) pour les tâches de détection de négation, de repérage des indices de spéculation et de délimitation de portée sur les abstracts BioScope et le jeu de données Sherlock. Nous avons également confirmé que notre approche entraîne un très faible compromis en termes de performance sur d’autres tâches, telles que l’inférence de langage naturel, après le sur-ajustement.