2ヶ月前

繰り返し動作のカウントとハイブリッド時間関係モデル化

Kun Li; Xinge Peng; Dan Guo; Xun Yang; Meng Wang
繰り返し動作のカウントとハイブリッド時間関係モデル化
要約

反復動作カウント(Repetitive Action Counting: RAC)は、ビデオ中に発生する反復動作の数を数えることを目指しています。現実世界では、反復動作は多様性が高く、多くの課題(視点の変化、非一様な周期、動作の中断など)をもたらします。既存のRAC手法は、時間的自己相似行列(Temporal Self-Similarity Matrix: TSSM)に基づいていますが、複雑な日常ビデオに適用される際には十分な動作周期の捕捉に限界があります。この問題に対処するために、我々は新しい手法であるハイブリッド時間的関係モデリングネットワーク(Hybrid Temporal Relation Modeling Network: HTRM-Net)を提案し、RACのために多様なTSSMを構築します。HTRM-Netは主に3つの重要なコンポーネントで構成されています:双モード時間的自己相似行列モデリング、ランダム行列ドロップ、および局所時間的コンテキストモデリング。具体的には、双モード(自己注意と二重ソフトマックス)操作によって時間的自己相似行列を構築し、行方向と列方向の相関から多様な行列表現を得ます。さらに、行列表現を強化するために、ランダム行列ドロップモジュールを導入して明示的に行列のチャネル方向学習をガイドします。その後、ビデオフレームの局所時間的コンテキストと学習した行列を時間的相関モデリングに注入することで、動作中断などの誤りが生じやすい状況にも対応できる堅牢なモデルを作ります。最後に、多尺度行列融合モジュールを設計して適応的に多尺度行列での時間的相関を集約します。多数のデータセット間での広範な実験により、提案手法が現在の最先端手法を超えるだけでなく、未見の動作カテゴリにおける反復動作の正確なカウントにおいても堅牢な能力を持つことが示されました。特に、我々の手法は古典的なTransRAC手法に対してMAEで20.04%上回り、OBOで22.76%上回る性能を達成しました。

繰り返し動作のカウントとハイブリッド時間関係モデル化 | 最新論文 | HyperAI超神経