Selbst-Imitationslernen

Dieses Papier stellt das Selbst-Imitationslernen (Self-Imitation Learning, SIL) vor, einen einfachen Off-Policy Actor-Critic-Algorithmus, der es ermöglicht, die vergangenen guten Entscheidungen des Agenten zu reproduzieren. Der Algorithmus wurde entwickelt, um unsere Hypothese zu überprüfen, dass die Nutzung vergangener positiver Erfahrungen indirekt eine tiefere Exploration fördern kann. Unsere empirischen Ergebnisse zeigen, dass SIL den Vorteilsschätzer-Aktor-Kritiker-Algorithmus (Advantage Actor-Critic, A2C) bei mehreren schwierigen Atari-Spielen erheblich verbessert und mit den neuesten zählenbasierten Explorationsmethoden wettbewerbsfähig ist. Darüber hinaus weisen wir nach, dass SIL die Proximal Policy Optimization (PPO) bei MuJoCo-Aufgaben verbessert.