BioGPT : Transformateur génératif pré-entraîné pour la génération et l'extraction de textes biomédicaux

Les modèles pré-entraînés de langage ont suscité un intérêt croissant dans le domaine biomédical, inspirés par leurs succès remarquables dans le domaine général du traitement du langage naturel. Parmi les deux grandes catégories de modèles pré-entraînés dans ce dernier domaine — à savoir BERT (et ses variantes) et GPT (et ses variantes) — la première a fait l’objet d’études approfondies dans le contexte biomédical, comme le montrent les exemples de BioBERT et PubMedBERT. Bien qu’ils aient atteint des résultats remarquables sur diverses tâches discriminatives biomédicales, leur incapacité à générer du texte limite leur champ d’application. Dans ce travail, nous proposons BioGPT, un modèle de langage Transformer générique spécifiquement conçu pour le domaine biomédical, pré-entraîné sur une grande échelle de littérature biomédicale. Nous évaluons BioGPT sur six tâches de traitement automatique du langage biomédical et démontrons que notre modèle surpasse les modèles précédents sur la plupart d’entre elles. En particulier, nous obtenons des scores F1 respectifs de 44,98 %, 38,42 % et 40,76 % sur les tâches d’extraction de relations en boucle complète pour BC5CDR, KD-DTI et DDI, ainsi qu’une précision de 78,2 % sur PubMedQA, établissant ainsi un nouveau record. Une étude de cas sur la génération de texte met également en évidence l’avantage de BioGPT dans la production de descriptions fluides et cohérentes pour des termes biomédicaux. Le code est disponible à l’adresse suivante : https://github.com/microsoft/BioGPT.