深層条件付き潜在表現を用いた行動認識

近年、マルチラベル・マルチクラスのビデオアクション認識が大きな注目を集めています。時間的に連続する原子的なアクションを推論することは、知能種にとって一般的なことですが、標準的な人工ニューラルネットワーク（ANN）は依然としてそれらの分類に苦労しています。現実世界では、原子的なアクションがしばしば時間的につながってより複雑な合成アクションを形成します。課題は、他の異なる合成または原子的なアクションが背景で発生している状況下で、時間的長さが異なる合成アクションを認識することにあります。関係ネットワークの成功を踏まえて、物体とアクションの意味的概念について推論する方法を提案します。我々は経験的に、ANNが事前学習、関係的誘導バイアスおよび順序无关集合に基づく潜在表現からどのように利益を得るかを示します。本論文では、状態表現と視覚表現を使用してイベントやアクションについて推論を行う2ストリーム関係ネットワークである深層集合条件付きI3D（SCI3D）を提案します。これにより、時間的に連続するアクションについて推論し、ビデオ内のすべてのアクションを識別することが可能になります。提案手法はCATERデータセットにおいて、I3D-NLベースラインに対して原子的なアクション認識で約1.49% mAPの向上と、合成アクション認識で17.57% mAPの向上を達成しました。