私たちは、深層強化学習のための最初の大規模分散アーキテクチャを提示します。このアーキテクチャは、以下の4つの主要な構成要素を使用しています：新しい行動を生成する並列アクター；蓄積された経験から学習する並列ラーナー；価値関数または行動方策を表現するために使用される分散ニューラルネットワーク；そして経験を蓄積する分散ストアです。当社のアーキテクチャを使用して、Deep Q-Networkアルゴリズム（DQN）を実装しました。当社の分散アルゴリズムは、同一のハイパーパラメータを使用し、Arcade Learning EnvironmentのAtari 2600ゲーム49タイトルに適用されました。その結果、49タイトル中の41タイトルで非分散型DQNを超える性能を達成し、またほとんどのゲームにおいてこれらの結果を得るのに必要なウォールタイムを1桁削減しました。