本研究では、ビデオ内のアクション検出を完全にエンドツーエンドで行う手法を提案し、この手法は直接アクションの時間的範囲を予測することを学習します。我々の直感は、アクション検出のプロセスが観察と洗練の自然な流れであるということです：ビデオ内の瞬間を観察し、アクションが発生しているタイミングに関する仮説を洗練する。この洞察に基づいて、我々はモデルを時間とともにビデオと相互作用する再帰型ニューラルネットワーク（RNN）ベースのエージェントとして定式化しました。エージェントはビデオフレームを観察し、次に注目すべき場所と予測を行うタイミングの両方を決定します。バックプロパゲーションが非微分可能なこの設定では十分でないため、REINFORCEアルゴリズムを使用してエージェントの意思決定ポリシーを学習させました。我々のモデルはTHUMOS'14およびActivityNetデータセットにおいて最先端の結果を達成しており、ビデオフレームの僅かな部分（2%以下）のみを観察しています。