Command Palette
Search for a command to run...
野生における3次元人体ポーズ推定に向けて:弱教師付きアプローチ
野生における3次元人体ポーズ推定に向けて:弱教師付きアプローチ
Zhou Xingyi Huang Qixing Sun Xiao Xue Xiangyang Wei Yichen
概要
本稿では、屋外環境における3次元人体ポーズ推定の課題に取り組む。このタスクは、訓練データの不足という困難に直面している。既存のデータセットは、2次元ポーズを含む屋外画像か、3次元ポーズを含む実験室画像のいずれかであり、両者の統合は困難である。そこで、統一された深層ニューラルネットワーク内で2次元と3次元のラベルを混合して用いる弱教師付き転移学習法を提案する。本ネットワークは、2段階のキャスケード構造を採用しており、最先端の2次元ポーズ推定サブネットワークに加えて、3次元深度推定サブネットワークを統合している。従来の2段階アプローチとは異なり、2つのサブネットワークを逐次的かつ独立に学習するのではなく、本手法はエンドツーエンドの学習を実現し、2次元ポーズ推定と深度推定のタスク間の相関関係を完全に活用する。これにより、共有表現を通じてより優れた深層特徴が学習可能となる。その結果、制御された実験室環境で取得された3次元ポーズラベルが、屋外画像へと効果的に転移される。さらに、真の深度ラベルが得られない状況下でも有効な3次元幾何制約を導入することで、3次元ポーズ予測の精度を向上させた。本手法は、2次元および3次元のベンチマークにおいて、競争力ある性能を達成した。