要約
改良された密集軌跡（iDT）は、動作認識において優れた性能を示しており、2ストリームアプローチとの組み合わせでは最先端の性能を達成しています。しかし、カメラの揺れが含まれる動画から背景軌跡を完全に除去することはiDTにとって困難です。また、識別力の低い領域の軌跡には適度な重みを与えることで、動作認識に使用されるより識別力のある局所記述子を作成する必要があります。さらに、外観情報と運動情報を別々に学習する2ストリームアプローチは、外観ネットワークの空間畳み込み層から特徴量を抽出する際に重要な領域の運動に焦点を当てることができず、逆も同様です。これらの問題に対処するために、我々はiDTに沿って2つのネットワークをクロスさせて得られる新しい畳み込み層をプーリングする新しい局所記述子を提案します。この新しい記述子は、一方のネットワークで学習した識別的な重みを他方のネットワークの畳み込み層に適用することによって計算されます。我々の方法は順序付けられた動作認識データセットで最先端の性能を達成し、UCF101では92.3%、HMDB51では66.2%の精度を記録しました。