2ヶ月前

DMC-Net: 高速圧縮ビデオアクション認識のための差別的運動キュー生成

Zheng Shou; Xudong Lin; Yannis Kalantidis; Laura Sevilla-Lara; Marcus Rohrbach; Shih-Fu Chang; Zhicheng Yan
DMC-Net: 高速圧縮ビデオアクション認識のための差別的運動キュー生成
要約

運動は、ビデオ理解において有用であることが示されています。ここで、運動は一般的に光学フローによって表現されます。しかし、ビデオフレームからフローを計算することは非常に時間のかかる作業です。最近の研究では、圧縮されたビデオ内に直接利用可能な運動ベクトルと残差を使用して、コストなしで運動を表現しています。この方法はフロー計算を回避しますが、運動ベクトルがノイジーであり解像度が大幅に低下しているため、精度が損なわれます。これは、より識別力のある運動表現としての光学フローに対して、運動ベクトルが劣っていることを意味します。これらの問題を解決するために、我々は軽量ジェネレータネットワークを提案します。このネットワークは運動ベクトル内のノイズを低減し、微細な運動詳細を捉えることで、より識別力のある運動手がかり(Discriminative Motion Cue: DMC)表現を実現します。光学フローはより正確な運動表現であるため、我々はDMCジェネレータを再構成ロスと生成対抗ロスを使用してフローに近似するように訓練し、下流の行動分類タスクと同時に行います。3つの行動認識ベンチマーク(HMDB-51, UCF-101, およびKineticsのサブセット)での広範な評価により、我々の手法の有効性が確認されました。ジェネレータと分類器から構成される当方の全システムはDMC-Netと呼ばれています。このシステムは光学フローを使用する場合に匹敵する高い精度を得つつ、推論時に光学フローを使用するよりも2桁速い処理速度を達成しています。

DMC-Net: 高速圧縮ビデオアクション認識のための差別的運動キュー生成 | 最新論文 | HyperAI超神経