Lecteur Mémoriel Renforcé pour la Compréhension de la Lecture par Machine

Dans cet article, nous présentons le Lecteur Mnémonique Renforcé pour les tâches de compréhension de la lecture par machine, qui améliore les lecteurs attentifs précédents sous deux aspects. Premièrement, un mécanisme de ré-attention est proposé pour affiner les attentions actuelles en accédant directement aux attentions passées mémorisées temporairement dans une architecture d'alignement à plusieurs tours, afin d'éviter les problèmes de redondance et de carence d'attention. Deuxièmement, une nouvelle approche d'optimisation appelée apprentissage par renforcement dynamique-critique est introduite pour étendre la méthode supervisée standard. Cette approche encourage toujours la prédiction d'une réponse plus acceptable afin de résoudre le problème de suppression de convergence rencontré dans les algorithmes traditionnels d'apprentissage par renforcement. Des expériences approfondies sur l'ensemble de données Stanford Question Answering (SQuAD) montrent que notre modèle atteint des résultats de pointe. Par ailleurs, notre modèle surpassent les systèmes précédents de plus de 6 % en termes des métriques Exact Match et F1 sur deux ensembles de données SQuAD adverses.