ゼロショット骨格ベース行動認識における相互情報の推定と最大化

ゼロショット骨格ベースの動作認識は、既知のカテゴリのデータで学習した後、未知のカテゴリの動作を認識することを目指しています。その鍵は、既知のクラスから未知のクラスへ視覚空間と意味空間の間の接続を構築することにあります。これまでの研究では主に、シーケンスを単一の特徴ベクトルにエンコードし、その後埋め込み空間内の同一アンカーポイントに特徴をマッピングすることに焦点を当ててきました。これらの手法の性能は、1) 全体的な視覚/意味分布の一貫性が無視されることにより、2つの空間間の真実の相互依存関係を捉える能力が制限されるという問題と 2) 時間情報が無視されること（フレームごとの豊富な動作ヒントを持つ特徴が直接単一の特徴ベクトルにプーリングされるため）によって阻害されています。本研究では、相互情報量（Mutual Information, MI）推定と最大化を通じた新しいゼロショット骨格ベースの動作認識手法を提案します。具体的には、1) 視覚空間と意味空間間での分布の一貫性のためにMIを最大化し、2) より多くのフレームが観測されるにつれてMIが増加するように促すことで時間情報を活用してMIを推定します。3つの大規模骨格動作データセットにおける広範な実験結果により、当手法の有効性が確認されました。コード: https://github.com/YujieOuO/SMIE.