Agents d'RL basés sur le texte avec des connaissances de bon sens : Nouveaux défis, environnements et lignes de base

Les jeux basés sur le texte sont apparus comme un terrain d'essai important pour la recherche en Apprentissage par Renforcement (AR), nécessitant que les agents AR combinent une compréhension linguistique ancrée dans le monde réel avec des prises de décision séquentielles. Dans cet article, nous examinons le problème de l'incorporation de connaissances de bon sens aux agents AR. Ce type de connaissance permettrait aux agents d'agir efficacement dans le monde en éliminant les actions peu plausibles et de réaliser des plans à long terme pour déterminer comment les actions actuelles pourraient influencer les états futurs du monde. Nous concevons un nouvel environnement de jeu basé sur le texte appelé TextWorld Commonsense (TWC) pour former et évaluer des agents AR avec un type spécifique de connaissances de bon sens concernant les objets, leurs attributs et leurs possibilités d'action. Nous introduisons également plusieurs agents AR de référence qui suivent le contexte séquentiel et récupèrent dynamiquement les connaissances pertinentes de bon sens à partir de ConceptNet. Nous montrons que les agents intégrant des connaissances de bon sens dans TWC ont des performances supérieures tout en agissant plus efficacement. Nous menons des études utilisateurs pour estimer les performances humaines sur TWC et démontrons qu'il existe encore beaucoup d'espace pour des améliorations futures.