ELECTRAMed : un nouveau modèle de représentation linguistique pré-entraîné pour le traitement automatique du langage en biomédecine

La quantité massive de textes scientifiques biomédicaux nécessite le développement de modèles de langage efficaces capables de traiter une large gamme de tâches de traitement du langage naturel (NLP) biomédical. Les approches les plus récentes et dominantes sont des modèles spécifiques à un domaine, initialisés avec des données textuelles d'un domaine général puis formés sur divers corpus scientifiques. Cependant, il a été observé que pour les domaines spécialisés disposant de grands corpus, l'entraînement d'un modèle à partir de zéro avec uniquement des connaissances propres au domaine peut produire de meilleurs résultats. De plus, la focalisation croissante sur les coûts informatiques liés à l'entraînement préalable a récemment conduit à la conception d'architectures plus efficaces, telles que ELECTRA.Dans cet article, nous proposons un modèle de langage pré-entraîné spécifique à un domaine, appelé ELECTRAMed, adapté au champ biomédical. Cette nouvelle approche hérite du cadre d'apprentissage de l'architecture ELECTRA générale ainsi que de ses avantages computationnels. Les expériences menées sur des ensembles de données de référence pour plusieurs tâches NLP biomédicales soutiennent l'utilité d'ELECTRAMed, qui établit un nouveau résultat d'état de l'art sur le corpus BC5CDR pour la reconnaissance d'entités nommées et fournit le meilleur résultat dans 2 des 5 exécutions du 7e défi BioASQ-factoid pour la tâche de réponse aux questions.