Un réseau d'attention multifactoriel axé sur la question pour le traitement des questions-réponses

Les modèles de réseaux neuronaux récemment proposés pour le système de questions-réponses (QA) se concentrent principalement sur la capture de la relation entre le passage et la question. Cependant, ils ont une capacité limitée à établir des liens entre les faits pertinents répartis dans plusieurs phrases, ce qui est essentiel pour atteindre une compréhension plus profonde, telle que l'inférence multi-sentences ou la résolution de co-référence. De plus, ces modèles ne mettent pas explicitement l'accent sur le type de question et de réponse, qui joue souvent un rôle critique dans le QA. Dans cet article, nous proposons un nouveau réseau d'attention multifactorielle orienté vers la question pour l'extraction des réponses. L'encodage attentif multifactoriel utilisant une transformation basée sur des tenseurs agrège des faits significatifs même lorsqu'ils sont situés dans plusieurs phrases. Pour inférer implicitement le type de réponse, nous proposons également un mécanisme d'agrégation questionnelle à attention maximale afin d'encoder un vecteur de question en fonction des mots importants dans cette question. Pendant la prédiction, nous intégrons l'encodage au niveau séquentiel du premier mot interrogatif et du mot qui suit immédiatement comme source supplémentaire d'information sur le type de question. Notre modèle proposé réalise des améliorations significatives par rapport aux meilleurs résultats antérieurs sur trois jeux de données QA à grande échelle et difficiles, à savoir NewsQA, TriviaQA et SearchQA.