Proximale Policy-Optimierungs-Algorithmen

Wir schlagen eine neue Familie von Policy-Gradienten-Methoden für das Reinforcement Learning vor, die zwischen der Datensammlung durch Interaktion mit der Umgebung und der Optimierung einer „Surrogat“-Zielfunktion mittels stochastischem Gradientensteigen wechseln. Während herkömmliche Policy-Gradienten-Methoden pro Datensample eine Gradientenaktualisierung durchführen, schlagen wir eine neuartige Zielfunktion vor, die mehrere Epochen von Minibatch-Aktualisierungen ermöglicht. Die neuen Methoden, die wir als Proximal Policy Optimization (PPO) bezeichnen, bieten einige der Vorteile des Trust Region Policy Optimization (TRPO), sind jedoch viel einfacher zu implementieren, allgemeiner anwendbar und haben eine bessere Sample-Komplexität (empirisch). Unsere Experimente testen PPO an einer Reihe von Benchmark-Aufgaben, darunter simulierte roboterhafte Fortbewegung und das Spielen von Atari-Spielen, und wir zeigen, dass PPO andere Online-Policy-Gradienten-Methoden übertrifft und insgesamt ein günstiges Verhältnis zwischen Sample-Komplexität, Einfachheit und Rechenzeit bietet.