Asynchrone Methoden für tiefes Reinforcement Learning

Wir schlagen einen konzeptionell einfachen und leichten Rahmen für tiefes Reinforcement Learning vor, der asynchrones Gradientenabstiegsverfahren zur Optimierung von neuronalen Netzwerksteuerungen verwendet. Wir stellen asynchrone Varianten von vier Standard-Reinforcement-Learning-Algorithmen vor und zeigen, dass parallele Schauspieler-Lerner (actor-learners) einen stabilisierenden Effekt auf das Training haben, was es ermöglicht, dass alle vier Methoden erfolgreich neuronale Netzwerksteuerungen trainieren können. Die beste Methode, eine asynchrone Variante des Actor-Critic-Verfahrens, übertrifft den aktuellen Stand der Technik im Atari-Bereich und benötigt nur die Hälfte der Trainingszeit auf einem einzelnen Mehrkern-CPU anstelle einer GPU. Darüber hinaus zeigen wir, dass das asynchrone Actor-Critic-Verfahren in einer Vielzahl kontinuierlicher Motorsteuerungsprobleme sowie bei einer neuen Aufgabe erfolgreich ist, bei der es darum geht, zufällige 3D-Labyrinthe unter Verwendung visueller Eingaben zu navigieren.