我々は、強化学習を用いて高次元の感覚入力から直接制御方策を学習する最初の深層学習モデルを提案します。このモデルは、畳み込みニューラルネットワークであり、Q学習の変種によって訓練され、入力が生のピクセルで、出力が将来の報酬を推定する価値関数となります。我々は、アーケードラーニング環境から7つのAtari 2600ゲームに本手法を適用し、アーキテクチャや学習アルゴリズムに一切の調整を行わずに実験しました。その結果、6つのゲームにおいてこれまでのすべての手法を上回り、3つのゲームでは人間の専門家を超える性能を達成しました。