MeDAL : Jeu de données pour la désambiguïsation des abréviations médicales dans le cadre de l'entraînement préalable à la compréhension du langage naturel

L’un des principaux défis empêchant l’utilisation de nombreuses méthodes actuelles de traitement automatique du langage (NLP) dans les environnements cliniques réside dans la disponibilité de jeux de données publics. Dans ce travail, nous présentons MeDAL, un grand jeu de données textuels médicaux spécifiquement constitué pour la désambiguïsation d’abréviations, conçu pour l’entraînement préalable (pre-training) en compréhension du langage naturel dans le domaine médical. Nous avons entraîné préalablement plusieurs modèles de architectures courantes sur cet ensemble de données, et nous avons démontré empiriquement que cet entraînement préalable améliore les performances ainsi que la vitesse de convergence lors du fine-tuning sur des tâches médicales spécifiques.