極端に拡張された骨格シーケンスを用いた対照学習による自己監督行動認識

近年、自己監督型の骨格ベース行動認識の表現学習は、コントラスティブ学習手法の進歩に伴い発展してきました。既存のコントラスティブ学習手法では、通常のデータ拡張を使用して類似した正例サンプルを構築していますが、これにより新しい動きパターンの探索能力が制限されています。本論文では、極端なデータ拡張によって導入される動きパターンをより効果的に活用するために、豊富な情報マイニングを利用した自己監督型行動表現のコントラスティブ学習フレームワーク（Abundant Information Mining for self-supervised action Representation: AimCLR）を提案します。まず、多様な正例サンプルを得るために、極端なデータ拡張とエネルギーに基づく注意誘導ドロップモジュール（Energy-based Attention-guided Drop Module: EADM）を提案します。これらは新しい動きパターンをもたらし、学習された表現の汎用性を向上させます。次に、極端なデータ拡張を直接使用すると元のアイデンティティに大きな変化が生じるため性能向上につながらない可能性があることから、二重分布ダイバージェンス最小化損失（Dual Distributional Divergence Minimization Loss: D$^3$M Loss）を提案します。これはより穏やかな方法で分布ダイバージェンスを最小化することを目指しています。さらに、最近傍探索（Nearest Neighbors Mining: NNM）を提案し、正例サンプルをさらに拡大することで豊富な情報マイニングプロセスをより合理的にします。NTU RGB+D 60, PKU-MMD, NTU RGB+D 120 データセットでの網羅的な実験結果から、我々の AimCLR は様々な評価プロトコルにおいて最先端手法に対して有意に優れた性能を示すことが確認されました。特に高い品質の行動表現が得られました。我々のコードは https://github.com/Levigty/AimCLR で公開されています。