時間的再帰ネットワークによるオンライン行動検出

時系列アクション検出の大部分の研究は、オフライン問題として定式化されています。これは、ビデオ全体が完全に観測された後に各アクションの開始時間と終了時間を決定する方法です。しかし、監視やドライバー支援システムなどの重要なリアルタイムアプリケーションでは、現在と過去の観測情報のみに基づいて各ビデオフレームが到着した時点でアクションを識別することが必要です。本論文では、より大きな時系列コンテクストをモデル化し、オンラインでのアクション検出と直近の未来予測を同時に実行する新しいフレームワークである「Temporal Recurrent Network（TRN）」を提案します。時間的な各瞬間において、当手法は蓄積された歴史的情報と予測された未来情報を活用して、現在進行中のアクションをより正確に認識し、これらを統一的なエンドツーエンドアーキテクチャに統合します。我々は提案手法を2つの代表的なオンラインアクション検出データセットHDDおよびTVSeries、さらには広く使用されている別のデータセットTHUMOS'14で評価しました。結果は、TRNが現行の最先端技術に対して大幅に優れていることを示しています。