大規模な非監督空間時間表現学習に関する研究

ビデオからの非監督空間時間表現学習に関する大規模な研究を報告します。最近の4つの画像ベースのフレームワークを統一的な視点で捉え、これらの方法を空間時間へ容易に一般化できる単純な目的関数を研究しました。当該目的関数は、同一ビデオ内での時間的に持続する特徴を促進し、その単純さにもかかわらず、(i) 異なる非監督フレームワーク、(ii) 事前学習データセット、(iii) 後方学習データセット、および (iv) バックボーンアーキテクチャにおいて驚くほど良好な結果を示しています。この研究から一連の興味深い観察結果を得ました。例えば、タイムスパンが60秒であっても長期間の持続性を促進することが効果的であることを発見しました。複数のベンチマークにおける最先端の結果に加えて、非監督事前学習が教師あり事前学習を超えるいくつかの有望なケースについても報告します。コードは https://github.com/facebookresearch/SlowFast で公開されています。