非局所潜在関係抽出による自己適応3次元人間姿勢推定

現在利用可能な3次元人間姿勢推定手法は、異なる形式の強力な（2D/3D姿勢）または弱い（多視点や深度）ペア教師あり学習を活用しています。しかし、合成やスタジオ環境以外の新しい対象環境に対してこのような教師データを取得することは非常に不便です。この問題に対処するため、我々は3次元姿勢学習を自己監督適応問題として捉え、ラベル付きソースドメインから完全にペアリングされていないターゲットへのタスク知識の転送を目指します。具体的には、画像から姿勢への推論を2つの明確なマッピングである画像-潜在変数マッピングと潜在変数-姿勢マッピングを通じて行います。後者のマッピングは、事前知識制約のある生成敵対自己符号化器から得られた事前に学習されたデコーダーを使用します。さらに、関係蒸留という手法を導入し、未ペアのクロスモーダルサンプル（すなわち未ペアのターゲットビデオと未ペアの3次元姿勢シーケンス）を合わせる手段として提案します。この目的のために、一般的なコントラスティブ関係とは異なり、ポジティブな結合が局所的な近傍構造に限定されない長距離の潜在的な姿勢相互作用を特徴付ける新たな非局所的な関係セットを提案します。また、非局所性を定量的に評価する客観的な方法を提供し、最も効果的な関係セットを選択するための基準を提示します。我々は異なる自己適応設定において評価を行い、標準的なベンチマーク上で最先端の3次元人間姿勢推定性能を示しています。注：「生成敵対自己符号化器」（Generative Adversarial Auto-Encoder, GAAE）は比較的新しい技術であり、「生成敵対ネットワーク」と「自己符号化器」の組み合わせで形成されるため、「生成敵対自己符号化器」（GAAE）と訳しました。「非局所性」（non-localness）については、「非局所性」と訳し、「non-localness」も括弧内に記載しました。