2ヶ月前

行動認識のための表現フロー

Piergiovanni, AJ ; Ryoo, Michael S.
行動認識のための表現フロー
要約

本論文では、光学流アルゴリズムに着想を得た畳み込み層を提案し、運動表現の学習を行います。我々が提案する表現流層は、行動認識のための畳み込みニューラルネットワーク内の任意の表現チャネルの「流れ」を捉えるために設計された完全微分可能な層です。この層の反復的なフロー最適化のパラメータは、他のCNNモデルのパラメータとともにエンドツーエンドで学習され、行動認識性能を最大化します。さらに、複数の表現流層を積み重ねることで、「フローのフロー」表現を学習するという新しい概念を導入しました。広範な実験評価を行い、従来の光学流を使用した以前の認識モデルと比較して計算速度と性能において優位性を確認しています。コード/モデルは以下のURLから入手可能です: https://piergiaj.github.io/rep-flow-site/