Réseau de Prédiction de Valeur

Ce document propose une nouvelle architecture d'apprentissage par renforcement profond (RL), appelée Réseau de Prédiction de Valeur (Value Prediction Network - VPN), qui intègre les méthodes d'apprentissage par renforcement sans modèle et avec modèle dans un seul réseau neuronal. Contrairement aux méthodes typiques d'apprentissage par renforcement avec modèle, le VPN apprend un modèle de dynamique dont les états abstraits sont formés pour faire des prédictions conditionnelles aux options des valeurs futures (somme actualisée des récompenses) plutôt que des observations futures. Nos résultats expérimentaux montrent que le VPN présente plusieurs avantages par rapport aux lignes de base sans modèle et avec modèle dans un environnement stochastique où une planification soigneuse est nécessaire, mais la construction d'un modèle précis de prédiction des observations est difficile. De plus, le VPN surpasse le Deep Q-Network (DQN) sur plusieurs jeux Atari même avec une planification à court terme, démontrant son potentiel en tant que nouvelle méthode pour apprendre une bonne représentation d'état.