Encodeurs Sémantiques Neuraux

Nous présentons un réseau neuronal augmenté par la mémoire pour la compréhension du langage naturel : les Encodeurs Sémantiques Neuraux (Neural Semantic Encoders, NSE). L'NSE est doté d'une nouvelle règle de mise à jour de la mémoire et dispose d'une mémoire d'encodage de taille variable qui évolue au fil du temps et maintient la compréhension des séquences d'entrée grâce aux opérations de lecture, composition et écriture. L'NSE peut également accéder à plusieurs mémoires partagées. Dans cet article, nous avons démontré l'efficacité et la flexibilité de l'NSE sur cinq tâches différentes en langage naturel : inférence en langage naturel, réponse à des questions, classification de phrases, analyse de sentiment de documents et traduction automatique. Lorsqu'évalué sur des jeux de données de référence publiquement disponibles, l'NSE a obtenu des performances à l'état de l'art dans ces domaines. Par exemple, notre modèle à mémoire partagée a montré des résultats encourageants en traduction automatique neuronale, améliorant une ligne de base basée sur l'attention d'environ 1.0 point BLEU.