Lecteur Ruminant : Raisonnement avec l'Attention Multistade à Portes

Pour répondre à la question dans la tâche de compréhension machine (MC), les modèles doivent établir l'interaction entre la question et le contexte. Pour résoudre le problème selon lequel le modèle à passage unique ne peut pas réfléchir et corriger sa réponse, nous présentons le Ruminating Reader. Le Ruminating Reader ajoute un deuxième passage d'attention et une nouvelle composante de fusion d'informations au modèle de flux d'attention bidirectionnel (BiDAF). Nous proposons des structures de couches novatrices qui construisent une représentation vectorielle du contexte sensible à la requête et fusionnent la représentation d'encodage avec une représentation intermédiaire au-dessus du modèle BiDAF. Nous démontrons qu'un mécanisme d'attention multi-étapes peut être appliqué à une structure d'attention bidirectionnelle. Dans les expériences menées sur SQuAD, nous constatons que le Reader surpasse considérablement la référence BiDAF et égale ou dépasse les performances de tous les autres systèmes publiés.