LinkBERT : Préformation de modèles de langage avec des liens de documents

Le préentraînement des modèles de langage (LM) peut apprendre diverses connaissances à partir de corpus textuels, aidant ainsi les tâches en aval. Cependant, les méthodes existantes comme le modèle BERT traitent un seul document et ne capturent pas les dépendances ou les connaissances qui s'étendent au-delà d'un seul document. Dans ce travail, nous proposons LinkBERT, une méthode de préentraînement de modèle de langage qui exploite les liens entre les documents, par exemple les hyperliens. Étant donné un corpus textuel, nous le considérons comme un graphe de documents et créons des entrées pour le modèle de langage en plaçant les documents liés dans le même contexte. Nous préentrainons ensuite le modèle de langage avec deux objectifs auto-supervisés conjoints : la modélisation du langage masquée et notre nouvelle proposition, la prédiction des relations entre documents. Nous montrons que LinkBERT surpasse BERT sur diverses tâches en aval dans deux domaines : le domaine général (préentrainé sur Wikipédia avec des hyperliens) et le domaine biomédical (préentrainé sur PubMed avec des liens de citation). LinkBERT est particulièrement efficace pour la raisonnement multi-étapes et l'interrogation avec peu d'exemples (amélioration absolue de +5% sur HotpotQA et TriviaQA), et notre LinkBERT biomédical établit de nouveaux états de l'art sur diverses tâches BioNLP (+7% sur BioASQ et USMLE). Nous mettons à disposition nos modèles préentrainés, LinkBERT et BioLinkBERT, ainsi que notre code et nos données à l'adresse suivante : https://github.com/michiyasunaga/LinkBERT.