Apprentissage par renforcement de Münchhausen

Le bootstrapping est un mécanisme fondamental en apprentissage par renforcement (RL). La plupart des algorithmes, fondés sur les différences temporelles, remplacent la vraie valeur d’un état transitoire par leur estimation courante de cette valeur. Toutefois, une autre estimation pourrait être exploitée pour le bootstrapping en RL : la politique actuelle. Notre contribution principale repose sur une idée très simple : ajouter au reward immédiat le logarithme de la politique, correctement mis à l’échelle. Nous montrons qu’en modifiant légèrement le Deep Q-Network (DQN) selon cette approche, on obtient un agent compétitif avec les méthodes distributionnelles sur les jeux Atari, sans recourir à l’apprentissage distributionnel, aux retours n-étapes ou au replay prioritaire. Pour illustrer la polyvalence de cette idée, nous l’exploitons également avec un réseau quantile implicite (Implicit Quantile Network, IQN). L’agent ainsi obtenu surpasse Rainbow sur Atari, établissant un nouveau record d’état de l’art avec des modifications minimales apportées à l’algorithme initial. En complément de cette étude empirique, nous fournissons des perspectives théoriques solides sur le fonctionnement interne : une régularisation implicite de Kullback-Leibler et une augmentation de l’écart d’action.