
コントラスティブ学習は、半教師付きの骨格ベースの動作認識の問題を解決するために、動作表現を学習するために効果的に活用されてきました。しかし、ほとんどのコントラスティブ学習に基づく手法は、時空間情報を混ぜたグローバル特徴量のみを対比するため、フレームレベルと関節レベルで異なる意味を反映する空間特異情報と時間特異情報が混乱します。そこで、私たちは新たな「時空間分離・圧縮コントラスティブ学習(Spatiotemporal Decouple-and-Squeeze Contrastive Learning: SDS-CL)」フレームワークを提案します。このフレームワークでは、空間特異情報と時間特異情報を捕捉するために、関節/運動特徴量間で空間分離・時間分離の内部注意マップを計算し、関節と運動特徴量間で空間分離・時間分離の相互注意マップを計算することにより、時空間分離の注意特徴量を得る新しい「時空間分離内部-外部注意機構(Spatiotemporal-decoupling Intra-Inter Attention: SIIA)」を設計しました。さらに、私たちは新たな「空間圧縮・時間対比損失(Spatial-squeezing Temporal-contrasting Loss: STL)」、「時間圧縮・空間対比損失(Temporal-squeezing Spatial-contrasting Loss: TSL)」および「グローバル対比損失(Global-contrasting Loss: GL)」を提示します。これらの損失関数は、フレームレベルでの空間圧縮された関節と運動特徴量、関節レベルでの時間圧縮された関節と運動特徴量、そして骨格レベルでのグローバルな関節と運動特徴量を対比するために使用されます。4つの公開データセットにおける広範な実験結果は、提案したSDS-CLが他の競合手法に比べて性能向上を達成していることを示しています。