複雑なドメインにおける効率的かつスケーラブルな探索は、強化学習において大きな課題となっています。ベイジアンアプローチやPAC-MDP（Probably Approximately Correct Markov Decision Process）アプローチは探索問題に対して強い形式的な保証を提供しますが、高次元では状態行動空間の列挙に依存するため、実用的でないことが多いです。したがって、複雑なドメインでの探索はしばしば単純なε-greedy（イプシロン・グリーディ）メソッドによって行われます。本論文では、生のピクセル入力と遅延報酬を処理する必要がある挑戦的なAtariゲームのドメインを取り上げます。トンプソンサンプリングやボルツマン探索などのより洗練された探索戦略を評価し、システム動態のモデルを並行して学習することに基づく新しい探索方法を提案します。学習モデルをニューラルネットワークでパラメータ化することで、複雑で高次元の状態空間を持つタスクに適用できるスケーラブルかつ効率的な探索ボーナスの手法を開発することが可能となります。Atariドメインにおいて、我々の手法は従来の手法が主要な課題となる一連のゲームに対して最も一貫性のある改善をもたらします。ゲームスコアだけでなく、Atari学習ドメインにおける探索の影響を評価するためにAUC-100指標も開発しました。