Les Stratégies d'Évolution comme une Alternative Évolutrice aux Méthodes d'Apprentissage par Renforcement

Nous explorons l'utilisation des Stratégies d'Évolution (ES), une classe d'algorithmes d'optimisation en boîte noire, comme alternative aux techniques de renforcement par apprentissage (RL) basées sur les processus de décision markoviens (MDP) populaires telles que le Q-learning et les gradients de politique. Les expériences menées sur MuJoCo et Atari montrent que les ES constituent une stratégie de solution viable qui s'adapte extrêmement bien au nombre de CPU disponibles : grâce à une nouvelle stratégie de communication basée sur des nombres aléatoires communs, notre implémentation des ES n'a besoin de communiquer que des scalaires, ce qui permet de passer à plus d'un millier d'agents parallèles. Cela nous permet de résoudre la marche d'un humanoïde 3D en 10 minutes et d'obtenir des résultats compétitifs sur la plupart des jeux Atari après une heure d'entraînement. De plus, nous soulignons plusieurs avantages des ES en tant que technique d'optimisation en boîte noire : elles sont invariantes à la fréquence des actions et aux récompenses retardées, tolérantes face à des horizons très longs, et n'ont pas besoin de remise temporelle ou d'approximation de fonction valeur.