Multi-passage BERT : Un modèle BERT normalisé globalement pour la réponse à des questions en domaine ouvert

Le modèle BERT a été appliqué avec succès à des tâches de questions-réponses (QA) dans des domaines ouverts. Cependant, les travaux précédents entraînent BERT en considérant les passages correspondant à la même question comme des instances d'entraînement indépendantes, ce qui peut entraîner des scores non comparables pour les réponses provenant de différents passages. Pour résoudre ce problème, nous proposons un modèle BERT multi-passage permettant une normalisation globale des scores de réponse sur l'ensemble des passages relatifs à la même question. Ce changement permet à notre modèle QA de trouver de meilleures réponses en utilisant un plus grand nombre de passages. De plus, nous avons constaté que diviser les articles en passages de 100 mots par une fenêtre glissante améliore les performances de 4 %. En utilisant un classeur de passage pour sélectionner des passages de haute qualité, le BERT multi-passage gagne encore 2 %. Les expériences menées sur quatre benchmarks standards ont montré que notre BERT multi-passage surpassait tous les modèles d'avant-garde sur tous les benchmarks. En particulier, sur le jeu de données OpenSQuAD, notre modèle obtient une amélioration de 21,4 % en exactitude (EM) et de 21,5 % en score $F_1$ par rapport à tous les modèles non-BERT, ainsi que 5,8 % en exactitude (EM) et 6,5 % en score $F_1$ par rapport aux modèles basés sur BERT.