TricorNet: 時間畳み込みと再帰型ネットワークを組み合わせたビデオアクションセグメンテーションのためのハイブリッドネットワーク

近年、アクションセグメンテーションは、ノントリミング動画の自動理解システム構築における重要なマイルストーンとして注目を集めています。これは一般的にシーケンスラベリング問題としてモデル化されていますが、テキスト解析や音声処理とは本質的に十分な違いがあります。本論文では、新しいハイブリッド時系列畳み込みおよび再帰ネットワーク（TricorNet）を提案します。このモデルはエンコーダー-デコーダー構造を持ちます：エンコーダーは異なる動作の局所的な動きの変化を捉えるための一連の時系列畳み込みカーネルの階層から構成されています；デコーダーはエンコード段階後、長期的な動作依存関係を学習し記憶する能力を持つ一連の再帰ニューラルネットワークの階層で構成されています。当社のモデルは単純ながら、動画シーケンスラベリングにおいて非常に効果的です。3つの公開アクションセグメンテーションデータセットでの実験結果は、提案されたモデルが最先端技術に対して優れた性能を達成していることを示しています。