自己監督下の3次元人間姿勢推定における部位誘導型新規画像合成

カメラが捉えた人間の姿勢は、複数の変動源の結果である。教師あり3D姿勢推定手法の性能は、形状や外観などの他の関連タスクを解決するのに有用な可能性がある変動を排除することに代償を払っている。その結果、学習モデルはタスクへの偏りだけでなく、アノテーション付きサンプルへの強い依存性からデータセットへの偏りも抱えるようになる。これは弱教師ありモデルにも当てはまる。この問題を認識し、私たちはラベルなしビデオフレームからこのような変動を分離する自己教師あり学習フレームワークを提案する。我々の方法では、単一の部位ベース2D人形モデル（puppet model）、人間の姿勢制約条件（human pose articulation constraints）、およびペアリングされていない3D姿勢の集合体という形式で人間の骨格と姿勢に関する事前知識を利用している。我々が提案する微分可能な形式化は、3D姿勢と空間部位マップ間の表現ギャップを橋渡しすることで、解釈可能な姿勢分離の発見だけでなく、多様なカメラ動きを持つビデオでの操作も可能にする。未知の実世界データセットに対する定性的評価結果により、3D姿勢推定や部位セグメンテーションといった主要タスクを超えて複数のタスクにおいて優れた汎化能力が示された。さらに、Human3.6MおよびMPI-INF-3DHPデータセットにおける最先端の弱教師あり3D姿勢推定性能を示している。以上が翻訳した内容です。ご確認ください。