TransRAC: 多スケールの時間相関をTransformerで符号化して反復動作カウントを行う

人間の活動、例えば身体運動において、反復的な動作のカウントは広く見られます。既存の手法は主に短い動画での反復動作カウントに焦点を当てており、より現実的な状況における長い動画の処理には対応しきれていません。データ駆動時代において、このような汎化能力の低下は主に長時間動画のデータセット不足によるものと考えられています。この欠如を補うために、我々は多様な動画長さと、動画内で動作中断や動作の一貫性欠如が起こるより現実的な状況をカバーする新しい大規模反復動作カウントデータセットを紹介します。さらに、単なる数値でのカウント注釈だけでなく、動作周期の詳細な注釈も提供しています。このデータセットには約20,000件の注釈が付いた1,451本の動画が含まれており、より困難な課題となっています。現実的な状況への反復動作カウントに向けて、我々はパフォーマンスと効率性を両立できる変圧器（transformers）を使用して多尺度時系列相関をエンコードする新たな手法を提案します。また、動作周期の詳細な注釈を利用することで、密度マップ回帰に基づく方法で動作周期を予測し、十分な解釈可能性を持つより優れた性能を得られるように提案しています。我々が提案した手法はすべてのデータセットで最先端の手法を上回り、微調整なしでも未知のデータセットでより優れた性能を達成しています。データセットとコードは公開されています。