野生環境での3Dヒューマンポーズ推定へのアプローチ：弱教師あり手法

本論文では、実世界における3次元人間姿勢推定のタスクを研究しています。このタスクは、既存のデータセットが実世界の画像で2次元姿勢か、制御されたラボ環境での3次元姿勢であるため、訓練データの不足により困難です。私たちは、統一された深層ニューラルネットワークにおいて2次元と3次元のラベルを混合して使用する弱教師あり転移学習手法を提案します。当該ネットワークは、最新の2次元姿勢推定サブネットワークに3次元深度回帰サブネットワークを組み合わせています。従来の2段階アプローチとは異なり、私たちの訓練はエンドツーエンドであり、2次元姿勢と深度推定サブタスク間の相関関係を完全に活用します。共有表現を通じて深層特徴量がより良く学習されます。これにより、制御されたラボ環境での3次元姿勢ラベルが実世界の画像へと転送されます。さらに、地面真値深度ラベルがない場合でも効果的な3次元幾何制約を導入し、3次元姿勢予測を正則化します。私たちの手法は、2次元および3次元ベンチマークにおいて競争力のある結果を達成しています。