SciFive : un modèle de transformateur text-to-text pour la littérature biomédicale

Dans ce rapport, nous présentons SciFive, un modèle T5 spécialisé dans un domaine et pré-entraîné sur de grands corpus biomédicaux. Notre modèle surpass les méthodes actuelles de pointe (c'est-à-dire BERT, BioBERT, T5 de base) dans des tâches de relation d'entités nommées, d'extraction de relations, d'inférence en langage naturel et de réponse à des questions. Nous démontrons que les méthodes de génération de texte ont un potentiel significatif dans une large gamme de tâches en traitement du langage naturel biomédical, en particulier celles nécessitant des sorties plus longues et complexes. Nos résultats soutiennent l'exploration de tâches plus difficiles de génération de texte et le développement de nouvelles méthodes dans ce domaine.