要約
最近の非対策型深層強化学習（Deep Reinforcement Learning, RL）の進展により、視覚的観測から得られる情報に基づく複雑なタスクにおいて、著しい成果が達成されている。経験リプレイ（Experience Replay）は過去の経験を再利用することでサンプル効率を向上させ、畳み込みニューラルネットワーク（CNN）は高次元入力を効果的に処理できる。しかし、こうした手法は高いメモリ容量と計算帯域幅を必要とする。本論文では、こうした計算およびメモリ要件を緩和するため、既存の非対策型RL手法に対する単純な改良である「効率的強化学習のための保存された埋め込み（Stored Embeddings for Efficient Reinforcement Learning, SEER）」を提案する。CNNエンコーダの下位層のパラメータは学習初期段階で早く収束するため、本手法では早期にこれらの層を固定（freeze）することで、CNNにおける勾配更新の計算負荷を削減する。さらに、経験リプレイに高次元画像の代わりに低次元の潜在ベクトル（latent vectors）を格納することで、メモリ使用量を削減し、リプレイバッファの容量を動的に増加可能とする。これはメモリ制約下の環境において特に有用な技術である。実験の結果、DeepMind Control環境およびAtariゲームを含む多様なタスクにおいて、SEERは強化学習エージェントの性能を低下させることなく、計算量とメモリ使用量を大幅に削減できることを示した。