ViZDoom : Une plateforme de recherche en IA basée sur Doom pour l'apprentissage par renforcement visuel

Les récentes avancées dans les réseaux neuronaux profonds ont conduit à des méthodes de renforcement d'apprentissage basées sur la vision qui ont été utilisées pour obtenir des contrôleurs au niveau humain dans les jeux Atari 2600 à partir de données de pixels. Cependant, les jeux Atari 2600 ne ressemblent pas aux tâches du monde réel, car ils impliquent des environnements 2D non réalistes et une perspective en troisième personne. Dans cet article, nous proposons une nouvelle plateforme de test pour la recherche en apprentissage par renforcement à partir d'informations visuelles brutes, qui utilise une perspective en première personne dans un monde 3D semi-réaliste. Le logiciel, appelé ViZDoom, est basé sur le jeu vidéo classique de tir à la première personne, Doom. Il permet de développer des bots qui jouent au jeu en utilisant le tampon d'écran. ViZDoom est léger, rapide et hautement personnalisable grâce à un mécanisme pratique de scénarios utilisateur. Dans la partie expérimentale, nous testons l'environnement en essayant d'apprendre des bots pour deux scénarios : une tâche de base consistant à se déplacer et tirer, et un problème plus complexe de navigation dans un labyrinthe. En utilisant des réseaux neuronaux profonds convolutifs avec l'algorithme Q-learning et le replay d'expériences, nous avons réussi à entraîner des bots compétents pour les deux scénarios, qui présentent des comportements similaires à ceux des humains. Les résultats confirment l'utilité de ViZDoom comme plateforme de recherche en IA et suggèrent que l'apprentissage par renforcement visuel dans des environnements 3D réalistes en perspective de première personne est réalisable.