GaitMixer: 骨格ベースの歩行表現学習を広帯域多軸ミキサーを用いて行う

既存の歩行認識手法の多くは外観に基づいており、人間の歩行活動から抽出されたシルエットに依存しています。比較的少ない研究が行われている骨格に基づく歩行認識手法は、2D/3Dの人間骨格シーケンスから直接歩行ダイナミクスを学習します。理論的には、衣服、髪型、持ち物などによる外観変化がある場合でも、より堅牢な解決策となる可能性があります。しかし、骨格ベースの手法の性能は依然として外観ベースのものに大きく劣っています。本論文では、この性能差を埋めるために新しいネットワークモデルであるGaitMixerを提案し、骨格シーケンスデータからより識別力のある歩行表現を学習することを目指しています。特に、GaitMixerは異種多軸ミキサーアーキテクチャに従っており、空間自己注意ミキサーと時間大カーネル畳み込みミキサーを組み合わせて、歩行特徴マップ内の豊富な多周波数信号を学習します。広く使用されている歩行データベースCASIA-Bでの実験結果は、GaitMixerが以前の最先端（SOTA）の骨格ベース手法よりも大幅に優れた性能を示すとともに、代表的な外観ベース手法と競合する性能を達成していることを示しています。コードは https://github.com/exitudio/gaitmixer で公開されます。