要約
人間と物体の間における遮蔽（オクルージョン）は、特に人間-物体インタラクションの行動において、実用的な応用において非常に一般的である。しかし、現在の3次元人間の形状およびポーズ推定手法の多くは、遮蔽がほとんどない、あるいは自己遮蔽が限定的な状況下での人体の良好な捉え込みを前提としている。本論文では、単一のカラービデオ画像から物体に遮蔽された人間の形状とポーズを直接推定する問題に焦点を当てる。我々の核心的なアイデアは、物体に遮蔽された人間体を部分的なUVマップで表現し、最終的に3次元人間形状の推定を画像補完（image inpainting）問題として定式化することにある。これにより、潜在特徴の監視を用いてエンドツーエンドの回帰器を学習可能な、新しい二本の分岐（two-branch）ネットワークアーキテクチャを提案する。さらに、遮蔽されたカラービデオ画像から人間の情報を抽出するための新規なサリエンシーマップサブネットも導入している。ネットワークの訓練を支援するため、新たに「3DOH50K」と名付けたデータセットを構築した。提案手法の有効性を検証するため、多数の実験を実施した結果、従来手法と比較して最先端の性能を達成することが実証された。本研究で開発したデータセットおよびコードは、https://www.yangangwang.com にて公開されている。