Command Palette
Search for a command to run...
Skip-Clip: 未来クリップ順位付けによる自己教師あり空間時間表現学習
Skip-Clip: 未来クリップ順位付けによる自己教師あり空間時間表現学習
Alaaeldin El-Nouby Shuangfei Zhai Graham W. Taylor Joshua M. Susskind
概要
深層ニューラルネットワークは、成功裡に学習するためには大量のデータの収集とアノテーションが必要です。このアノテーションのボトルネックを緩和するために、ビデオから抽出された時空間特徴に対する新しい自己監督表現学習手法を提案します。当手法として、Skip-Clipという方法を導入します。これは、コンテキストクリップに基づいて未来のクリップ順位を予測する代理目標関数として、ビデオ内の時間的一貫性を利用した深層モデルの学習を行います。我々の手法を使用して学習した特徴量が汎化可能であり、下流タスクへの転移性能が高いことを示しています。UCF101データセットにおける行動認識において、ランダム初期化に対して51.8%の改善を達成し、ImageNetパラメータを使用して初期化されたモデルよりも優れた結果を得ています。また、Skip-Clipは最先端の自己監督手法と競合する結果も得ています。(注:「Skip-Clip」、「UCF101」、「inflated ImageNet parameters」などの固有名詞や専門用語はそのまま使用しました。)