Représentation BERT spécifique au domaine pour la reconnaissance d'entités nommées dans les protocoles de laboratoire

Les modèles supervisés entraînés pour prédire des propriétés à partir de représentations ont atteint une précision élevée sur une variété de tâches. Par exemple, la famille BERT s'est particulièrement bien comportée sur des tâches de traitement du langage naturel en amont, allant du marquage d'entités nommées (NER) à diverses autres tâches linguistiques. Toutefois, le vocabulaire utilisé dans le domaine médical comporte un grand nombre de tokens spécifiques au secteur, tels que les noms de maladies, d'appareils, d'organismes, de médicaments, etc., ce qui rend difficile la création d'embeddings contextualisés par les modèles BERT traditionnels. Dans cet article, nous présentons un système de marquage d'entités nommées basé sur Bio-BERT. Les résultats expérimentaux montrent que notre modèle obtient des améliorations significatives par rapport au modèle de référence, se classant quatrième au classement général selon le score F1, et deuxième au classement pour le rappel, avec un écart de seulement 2,21 points F1 par rapport au meilleur modèle.