Wir schlagen einen konzeptionell einfachen und leichten Rahmen für tiefes Reinforcement Learning vor, der asynchrones Gradientenabstiegsverfahren zur Optimierung von neuronalen Netzwerksteuerungen verwendet. Wir stellen asynchrone Varianten von vier Standard-Reinforcement-Learning-Algorithmen vor und zeigen, dass parallele Schauspieler-Lerner (actor-learners) einen stabilisierenden Effekt auf das Training haben, was es ermöglicht, dass alle vier Methoden erfolgreich neuronale Netzwerksteuerungen trainieren können. Die beste Methode, eine asynchrone Variante des Actor-Critic-Verfahrens, übertrifft den aktuellen Stand der Technik im Atari-Bereich und benötigt nur die Hälfte der Trainingszeit auf einem einzelnen Mehrkern-CPU anstelle einer GPU. Darüber hinaus zeigen wir, dass das asynchrone Actor-Critic-Verfahren in einer Vielzahl kontinuierlicher Motorsteuerungsprobleme sowie bei einer neuen Aufgabe erfolgreich ist, bei der es darum geht, zufällige 3D-Labyrinthe unter Verwendung visueller Eingaben zu navigieren.