私たちは、深層強化学習手法に簡単に実装でき、計算負荷を最小限に抑えることができる探査ボーナスを導入します。このボーナスは、固定されたランダムに初期化されたニューラルネットワークによって与えられた観測値の特徴を予測するニューラルネットワークの誤差です。また、内在的報酬と外在的報酬を柔軟に組み合わせる方法も提案します。ランダムネットワークディスティレーション（RND）ボーナスとこの柔軟性の向上が、いくつかの難易度の高いアタリゲームでの大幅な進歩を可能にすることを見出しました。特に、深層強化学習手法で有名に難しい「モンテズーマのリベンジ」において最先端の性能を達成し、時には第1レベルをクリアすることがあります。私たちが知る限り、これはデモンストレーションを使用せずにゲームの内部状態にもアクセスしないで平均的な人間以上の性能を達成した最初の手法です。