本研究は、最新のディープ強化学習アルゴリズムであるバッチ非同期アドバンテージアクターキリティック（BA3C）のスケーラビリティに焦点を当てた分散ディープ強化学習（DDRL）に関するものです。当研究では、最大2048のバッチサイズを使用したAdam最適化アルゴリズムが大規模な機械学習計算において実現可能な選択肢であることを示しています。これに加えて、オプティマイザのハイパーパラメータを慎重に再検討し、ノードレベルでの同期学習（アルゴリズムのローカル部分、つまり単一ノード部分は非同期のまま）を用いることや、モデルのメモリフットプリントを最小限に抑えることで、最大64つのCPUノードまで線形スケーリングを達成しました。これは768個のCPUコアで21分間の学習時間に対応しており、基準となる単一ノード実装で24コアを使用した場合の10時間と比較することができます。