L'Environnement d'Apprentissage NetHack

Les progrès dans les algorithmes d'Apprentissage par Renforcement (AR) vont de pair avec le développement d'environnements complexes qui testent les limites des méthodes actuelles. Bien que les environnements AR existants soient soit suffisamment complexes, soit basés sur des simulations rapides, ils sont rarement les deux à la fois. Dans cet article, nous présentons l'Environnement d'Apprentissage NetHack (EAN), un environnement évolutif, généré procéduralement, stochastique, riche et complexe pour la recherche en AR, basé sur le jeu populaire de type roguelike à base terminale pour un joueur unique, NetHack. Nous soutenons que NetHack est suffisamment complexe pour stimuler des recherches à long terme sur des problèmes tels que l'exploration, la planification, l'acquisition de compétences et l'AR conditionné au langage, tout en réduisant considérablement les ressources informatiques nécessaires pour acquérir une grande quantité d'expérience. Nous comparons l'EAN et sa suite de tâches aux alternatives existantes, et discutons pourquoi il constitue un milieu idéal pour tester la robustesse et la généralisation systématique des agents AR. Nous démontrons le succès empirique des premières étapes du jeu en utilisant une ligne de base distribuée de Deep AR et une exploration par distillation de réseau aléatoire (Random Network Distillation), ainsi qu'une analyse qualitative de divers agents formés dans cet environnement. L'EAN est open source à l'adresse https://github.com/facebookresearch/nle.