HyperAIHyperAI

Command Palette

Search for a command to run...

時間の計測:クラスに依存しない野生環境でのビデオ反復回数計測

Debidatta Dwibedi; Yusuf Aytar; Jonathan Tompson; Pierre Sermanet; Andrew Zisserman

概要

ビデオ内の動作が繰り返される周期を推定する手法を提案します。この手法の核心は、周期予測モジュールに時間的な自己類似性を中間表現のボトルネックとして利用させることで、実世界のビデオにおける未見の繰り返しにも汎化できるようにすることにあります。当該モデル(Repnet)は、大規模な無ラベルビデオコレクションから様々な長さの短いクリップをサンプリングし、異なる周期と回数で繰り返して生成された合成データセットを使用して訓練されます。合成データと強力かつ制約のあるモデルの組み合わせにより、クラスに依存しない形での周期予測が可能となります。我々のモデルは、既存の周期性(PERTUBE)および繰り返しカウント(QUVA)ベンチマークにおいて大幅に最先端の性能を上回っています。また、実世界のビデオにおける繰り返しカウントの課題を捉えた新たなチャレンジングなデータセットであるCountix(既存データセットのおよそ90倍以上のサイズ)も収集しました。プロジェクトウェブページ: https://sites.google.com/view/repnet


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています