スパースからディンスへのフレームワークを用いたアクションチューブの検出

空間時系列行動検出のタスクは、研究者たちの関心をますます引きつけてきている。現在の主流手法は、個々のフレームまたはクリップに対して短時間情報に依拠し、密な逐次検出を行うことでこの問題を解決している。これらの手法は効果的ではあるが、長期間の情報を十分に活用できていない上に、計算効率に欠ける傾向がある。本論文では、初めて、動画ストリームから単一の前向き伝搬（forward pass）でスパースからドーン（dense）な形で行動チューブ候補を生成する効率的なフレームワークを提案する。本フレームワークの特徴は以下の2点である：（1）空間時系列ネットワーク内において、長期間および短期間のサンプリング情報が明示的に活用される、（2）チューブ出力を効果的に近似しつつ、システムの取り扱いやすさを維持するため、新たな動的特徴サンプリングモジュール（Dynamic Feature Sampling module, DTS）が設計されている。本モデルの有効性はUCF101-24、JHMDB-21、UCFSportsのベンチマークデータセット上で評価され、最先端手法と比較して競争力のある結果を達成した。提案するスパースからドーンへの戦略により、本フレームワークは最近接の競合手法と比べて約7.6倍の効率性を実現した。