StepGame : Un Nouveau Benchmark pour le Raisonnement Spatial Multi-Étapes Résilient dans les Textes

L’inférence des relations spatiales dans le langage naturel constitue une capacité essentielle qu’un système intelligent devrait posséder. Le jeu de données bAbI vise à capturer des tâches pertinentes dans ce domaine (tâches 17 et 19). Toutefois, ces tâches présentent plusieurs limitations : elles sont principalement restreintes à des expressions fixes, elles exigent un nombre limité d’étapes de raisonnement pour être résolues, et elles ne testent pas efficacement la robustesse des modèles face à des entrées contenant des informations irrelevantes ou redondantes. Dans cet article, nous présentons un nouveau jeu de données de type Q&R (Question-Réponse), appelé StepGame, conçu pour évaluer la raisonnement spatial multi-étapes robuste dans les textes. Nos expériences montrent que les modèles d’état de l’art sur le jeu de données bAbI éprouvent des difficultés majeures sur StepGame. Par ailleurs, nous proposons un réseau de neurones à mémoire augmentée basé sur le produit tensoriel (TP-MANN), spécifiquement conçu pour les tâches de raisonnement spatial. Les résultats expérimentaux sur les deux jeux de données démontrent que notre modèle surpasse tous les modèles de référence en termes de généralisation et de robustesse.