Réorganisation de Passage avec BERT

Récemment, les modèles neuronaux pré-entraînés sur une tâche de modélisation linguistique, tels qu'ELMo (Peters et al., 2017), OpenAI GPT (Radford et al., 2018) et BERT (Devlin et al., 2018), ont obtenu des résultats impressionnants sur diverses tâches de traitement du langage naturel, comme la réponse aux questions et l'inférence en langage naturel. Dans cet article, nous décrivons une réimplémentation simple de BERT pour le reclassement de passages basé sur des requêtes. Notre système est à l'état de l'art sur le jeu de données TREC-CAR et occupe la première place du classement de la tâche de récupération de passages MS MARCO, surpassant l'état antérieur de l'art de 27 % (relatif) en MRR@10. Le code permettant de reproduire nos résultats est disponible à l'adresse suivante : https://github.com/nyu-dl/dl4marco-bert