TURN TAP: 時間単位回帰ネットワークによる時間行動提案

時刻アクション提案（Temporal Action Proposal, TAP）の生成は重要な問題であり、未編集動画から意味的に重要なセグメント（例：人間の行動）を迅速かつ正確に抽出することは、大規模な動画解析において重要なステップです。本研究では、新しい時刻単位回帰ネットワーク（Temporal Unit Regression Network, TURN）モデルを提案します。TURNには2つの特徴的な側面があります：(1) TURNは、時刻座標回帰によってアクション提案を予測し、時刻境界を同時に洗練します；(2) 単位特徴量の再利用により高速計算が可能となります：長い未編集動画はビデオユニットに分解され、これらのユニットが時刻提案の基本構成要素として再利用されます。TURNはTHUMOS-14およびActivityNetデータセットにおいて平均リコール（Average Recall, AR）で既存の最先端手法を大幅に上回り、TITAN X GPU上で880フレーム以上毎秒処理（Frames Per Second, FPS）できます。さらに、既存の時刻アクション局所化パイプラインにおける提案生成段階としてTURNを適用した結果、THUMOS-14およびActivityNetデータセットでの最先端性能も上回りました。