Réseaux d'attention multi-voies pour la modélisation de paires de phrases

La modélisation des paires de phrases joue un rôle fondamental dans l’évaluation de la relation entre deux phrases, telles que l’identification de paraphrases, l’inférence linguistique naturelle et la sélection de phrases réponse. Les travaux antérieurs ont obtenu des résultats très prometteurs en utilisant des réseaux neuronaux munis d’un mécanisme d’attention. Dans cet article, nous proposons les réseaux d’attention multi-voies, qui exploitent plusieurs fonctions d’attention pour aligner des paires de phrases dans le cadre de l’alignement-agrégation. Plus précisément, nous concevons quatre fonctions d’attention afin d’aligner les mots correspondants entre deux phrases. Ensuite, nous agrégons les informations d’alignement provenant de chaque fonction, puis combinons ces informations issues de toutes les fonctions pour obtenir une représentation finale. Les résultats expérimentaux démontrent que les réseaux d’attention multi-voies proposés améliorent significativement les performances sur les jeux de données Quora Question Pairs, SNLI, MultiNLI, ainsi que sur la tâche de sélection de phrase réponse du dataset SQuAD.