Timeception for Complex Action Recognition 複雑な行動認識のためのTimeception

本論文は、ビデオにおける人間の活動認識における時間的側面に焦点を当てています。これは長らく軽視されてきた重要な視覚的な手がかりです。私たちは従来の活動の定義を見直し、それを特定の目的を持つ弱い時間的パターンを持つ一連の単一動作である「複雑な動作（Complex Action）」に制限します。関連研究では、固定されたカーネルサイズを使用した空間時間3次元畳み込みが用いられていますが、これでは複雑な動作の時間的範囲の多様性を捉えるのが硬すぎ、また長期的な時間的モデリングには短すぎるという問題があります。対照的に、私たちは多尺度時間畳み込みを使用し、3次元畳み込みの複雑さを低減しました。その結果、「タイムセプション（Timeception）」畳み込み層が生まれました。この層は数分間の時間的パターンについて推論することができ、最良の関連研究よりも8倍長い時間を扱うことができます。その結果、タイムセプションはチャラデス（Charades）、ブレックファスト・アクションズ（Breakfast Actions）、マルチTHUMOS（MultiTHUMOS）などのデータセットにおいて人間の活動認識で印象的な精度を達成しています。さらに、我々はタイムセプションが長期的な時間依存関係を学習し、複雑な動作の時間的範囲に耐えられることが示されています。