MEMEN : Embedding multicouche avec des réseaux de mémoire pour la compréhension machine

La compréhension de texte (MC) par les machines est un problème emblématique dans le domaine du traitement automatique des langues naturelles. Les méthodes précédentes ont rarement consacré du temps à l'amélioration de la couche d'encodage, en particulier à l'incorporation des informations syntaxiques et des entités nommées des mots, qui sont essentielles pour la qualité de l'encodage. De plus, les méthodes d'attention existantes représentent chaque mot de la requête par un vecteur ou utilisent un seul vecteur pour représenter toute la phrase de la requête, aucune de ces approches ne pouvant traiter correctement le poids des mots clés dans la phrase de la requête. Dans cet article, nous présentons une nouvelle architecture de réseau neuronal appelée Multi-layer Embedding with Memory Network (MEMEN) pour la tâche de lecture automatique. Dans la couche d'encodage, nous utilisons le modèle skip-gram classique pour entraîner une nouvelle sorte de couche d'incrustation, en prenant en compte les informations syntaxiques et sémantiques des mots. Nous proposons également un réseau mémoire permettant une correspondance omnidirectionnelle entre la requête et le passage afin de capturer davantage d'informations cruciales. Les expériences montrent que notre modèle obtient des résultats compétitifs tant en termes de précision qu'efficacité sur l'ensemble des résultats publiés dans le Stanford Question Answering Dataset (SQuAD), et atteint les meilleurs résultats actuels sur le dataset TriviaQA.