2ヶ月前

対抗的摂動を用いた比較的なビデオ表現学習

Jue Wang; Anoop Cherian
対抗的摂動を用いた比較的なビデオ表現学習
要約

対抗的摂動は、データを微妙に変更しつつ、それまで正確な分類器を失敗させるノイズのようなパターンです。本論文では、このような摂動を新しいコントラスティブ学習の設定で使用してネガティブサンプルを作成し、その結果として改善されたビデオ表現を得ることを提案します。まず、フレームごとのビデオ認識用に十分に訓練された深層モデルに対して、このモデルに適応した対抗的ノイズを生成します。ポジティブバッグとネガティブバッグは、それぞれ完全なビデオシーケンスから抽出した元のデータ特徴量とその摂動版を使用して作成されます。従来のコントラスティブ学習手法とは異なり、我々は2値分類問題を開発し、この問題は2つのバッグを区別する一連の識別超平面(部分空間)を学習します。この部分空間は「識別部分空間プーリング」(discriminative subspace pooling)と呼ばれ、ビデオの記述子として使用されます。摂動版特徴量が元の特徴量と混同されやすいデータクラスに属しているため、識別部分空間は元のデータをより代表的に表す特徴空間の一部を特徴づけます。これにより、堅牢なビデオ表現が提供される可能性があります。このような記述子を学習するために、我々はStiefel多様体上の部分空間学習目標を定式化し、効率的な解法のためにリーマン最適化手法を利用します。複数のビデオデータセットでの実験を行い、最先端の結果を示しています。

対抗的摂動を用いた比較的なビデオ表現学習 | 最新論文 | HyperAI超神経