SA-DVAE: Disentangled Variational Autoencoders を用いた Zero-Shot 骨格ベース動作認識の改善

既存のゼロショット骨格ベースの動作認識手法は、射影ネットワークを用いて骨格特徴量と意味埋め込みの共有潜在空間を学習します。動作認識データセットに固有の不均衡、すなわち変動する骨格シーケンスと一定のクラスラベルが存在することにより、アライメントには大きな課題が伴います。この不均衡に対処するために、私たちはSA-DVAE（Semantic Alignment via Disentangled Variational Autoencoders）という手法を提案します。この手法はまず、特徴量分解を採用して骨格特徴量を意味に関連する部分と関連しない部分の2つの独立した部分に分離し、骨格特徴量と意味特徴量のアライメントを改善します。私たちはこのアイデアを、モダリティ固有の変分オートエンコーダー2つと全体的な補正ペナルティを組み合わせることで実装しました。NTU RGB+D、NTU RGB+D 120、PKU-MMDという3つのベンチマークデータセットでの実験を行った結果、SA-DVAEは既存手法よりも優れた性能を示しました。コードは https://github.com/pha123661/SA-DVAE で公開されています。