2ヶ月前

時間の計測:クラスに依存しない野生環境でのビデオ反復回数計測

Debidatta Dwibedi; Yusuf Aytar; Jonathan Tompson; Pierre Sermanet; Andrew Zisserman
時間の計測:クラスに依存しない野生環境でのビデオ反復回数計測
要約

ビデオ内の動作が繰り返される周期を推定する手法を提案します。この手法の核心は、周期予測モジュールに時間的な自己類似性を中間表現のボトルネックとして利用させることで、実世界のビデオにおける未見の繰り返しにも汎化できるようにすることにあります。当該モデル(Repnet)は、大規模な無ラベルビデオコレクションから様々な長さの短いクリップをサンプリングし、異なる周期と回数で繰り返して生成された合成データセットを使用して訓練されます。合成データと強力かつ制約のあるモデルの組み合わせにより、クラスに依存しない形での周期予測が可能となります。我々のモデルは、既存の周期性(PERTUBE)および繰り返しカウント(QUVA)ベンチマークにおいて大幅に最先端の性能を上回っています。また、実世界のビデオにおける繰り返しカウントの課題を捉えた新たなチャレンジングなデータセットであるCountix(既存データセットのおよそ90倍以上のサイズ)も収集しました。プロジェクトウェブページ: https://sites.google.com/view/repnet