Évaluation de l'apprentissage par renforcement profond pour le contrôle continu

Récemment, les chercheurs ont réalisé des progrès significatifs en combinant les avancées du deep learning pour l'apprentissage de représentations de caractéristiques avec le reinforcement learning. Parmi les exemples notables figurent la formation d'agents pour jouer à des jeux Atari à partir de données de pixels brutes et l'acquisition de compétences de manipulation avancées en utilisant des entrées sensorielles brutes. Cependant, il a été difficile de quantifier les progrès dans le domaine du contrôle continu en raison du manque d'un benchmark communément adopté. Dans cette étude, nous présentons un ensemble de benchmarks pour des tâches de contrôle continu, incluant des tâches classiques comme le renversement d'une tige sur un chariot (cart-pole swing-up), des tâches à très haute dimensionnalité d'état et d'action telles que la locomotion humanoïde 3D, des tâches avec observations partielles et des tâches à structure hiérarchique. Nous rapportons des découvertes originales basées sur l'évaluation systématique d'une gamme d'algorithmes de reinforcement learning mis en œuvre. À la fois le benchmark et les implémentations de référence sont rendus disponibles sur https://github.com/rllab/rllab afin de faciliter la reproductibilité expérimentale et d'encourager son adoption par d'autres chercheurs.