2ヶ月前

注意蒸馏法によるビデオ表現の学習

Miao Liu; Xin Chen; Yun Zhang; Yin Li; James M. Rehg
注意蒸馏法によるビデオ表現の学習
要約

動画認識に向けた運動表現の学習における困難な問題を、深層モデルを使用して解決します。この目的のために、注目モジュールを用いて動画内の領域を強調し、認識のための特徴量を集約する手法を開発しました。具体的には、出力注目マップを媒介として、運動(フロー)ネットワークからRGBネットワークへ学習済み表現を転送することを提案します。注目モジュールの設計について体系的に研究し、新たな注目蒸留法を開発しました。本手法は主要な行動認識ベンチマークで評価され、ベースラインのRGBネットワークの性能を大幅に向上させることが確認されました。さらに、我々の注目マップが動画フレーム内の行動位置を特定する際の運動情報の活用に貢献することも示しています。我々は、本手法が深層モデルでの運動意識的な表現学習への一歩となると考えています。プロジェクトページは以下のURLでご覧いただけます: https://aptx4869lm.github.io/AttentionDistillation/以上が翻訳となります。

注意蒸馏法によるビデオ表現の学習 | 最新論文 | HyperAI超神経