Apprentissage de modèles mondiaux basés sur les graphes de connaissance pour des environnements textuels

Les modèles du monde améliorent la capacité d’un agent d’apprentissage à fonctionner de manière efficace dans des environnements interactifs et situés. Ce travail se concentre sur la tâche de construction de modèles du monde dans des environnements de jeux textuels. Les jeux textuels, ou récits interactifs, constituent des environnements d’apprentissage par renforcement où les agents perçoivent et interagissent avec le monde à l’aide de langage naturel textuel. Ces environnements incluent des énigmes ou quêtes complexes, s’étendant sur de longues séquences d’étapes, intégrées dans un monde riche en centaines de personnages, lieux et objets. Notre modèle du monde apprend simultanément à : (1) prédire les changements survenant dans le monde suite aux actions d’un agent, en représentant celui-ci sous forme de graphe de connaissances ; et (2) générer l’ensemble d’actions linguistiques pertinentes du point de vue du contexte nécessaires pour interagir dans le monde. Nous formulons cette tâche comme un problème de génération de séquences d’ensembles, en exploitant la structure intrinsèque des graphes de connaissances et des actions, et proposons une architecture multi-tâches basée sur des transformateurs ainsi qu’une fonction de perte pour son entraînement. Une étude d’ablation à zéro apprentissage sur des mondes textuels jamais observés montre que notre méthode dépasse significativement les techniques existantes de modélisation du monde textuel, tout en mettant en évidence l’importance de chacune de nos contributions.