2ヶ月前

すべてのショットが重要:ビデオにおける反復回数のカウントにエクセプラーを使用する

Saptarshi Sinha; Alexandros Stergiou; Dima Damen
すべてのショットが重要:ビデオにおける反復回数のカウントにエクセプラーを使用する
要約

ビデオ繰り返しカウントは、ビデオ内での反復する動作や動きの回数を推定します。本研究では、ターゲットビデオ内の繰り返し間でビデオサンプルの視覚的な対応関係を見つけるサンプルベースのアプローチを提案します。我々が提案する「Every Shot Counts(ESCounts)」モデルは、注意機構に基づくエンコーダー-デコーダーであり、異なる長さのビデオと同ビデオおよび異ビデオからのサンプルをエンコードします。学習段階では、ESCountsはビデオ内でサンプルに高い対応性を持つ位置を回帰します。同時に、我々の手法は一般的な反復運動の表現をエンコードする潜在変数を学習し、これを用いてサンプルなし・ゼロショット推論を行います。常用データセット(RepCount、Countix、UCFRep)における広範な実験により、ESCountsがこれら3つのデータセットすべてにおいて最先端の性能を達成していることが示されています。詳細なアブレーション実験もまた、我々の手法の有効性を証明しています。