骨格ベースの行動認識のためのグラフコントラスト学習

骨格に基づく行動認識分野において、現在のトップ性能を発揮するグラフ畳み込みネットワーク（GCN）は、シーケンス内におけるコンテキストを活用して特徴集約用の適応型グラフを構築している。しかしながら、我々はこうしたコンテキストは依然として「局所的」であると主張する。なぜなら、豊かなシーケンス間関係が明示的に調査されていないからである。本論文では、すべてのシーケンスにわたる「グローバル」なコンテキストを探索するためのグラフ対比学習フレームワーク（SkeletonGCL）を提案する。具体的には、SkeletonGCLは、グラフがクラス判別的（class-discriminative）である、すなわちクラス内ではコンパクトでクラス間では分散するように制約することで、シーケンス間のグラフ学習を連携させる。これにより、GCNが異なる行動パターンをより明確に識別する能力が向上する。さらに、インスタンスレベルと意味レベルという二つの補完的な視点から、シーケンス間のコンテキストを豊かにするために二つのメモリバンクを設計し、複数のコンテキストスケールにおけるグラフ対比学習を可能にしている。その結果、SkeletonGCLは新たな学習パラダイムを確立し、既存のGCNにスムーズに統合可能である。一般性を損なわず、2S-ACGN、CTR-GCN、InfoGCNの3つのGCNと組み合わせて実験を行ったところ、NTU60、NTU120、NW-UCLAの各ベンチマークで一貫した性能向上が達成された。ソースコードは、\url{https://github.com/OliverHxh/SkeletonGCL} にて公開予定である。