外部弱教師データを用いた野生環境下でのエゴセントリック3次元人間姿勢推定

単一の魚眼カメラを用いたエゴセントリック3次元人間姿勢推定は、最近大きな注目を集めています。しかし、既存の手法は野生環境（in-the-wild）画像からの姿勢推定に苦戦しています。これは、大規模な野生環境エゴセントリックデータセットが利用できないため、合成データでのみ学習できるからです。さらに、これらの手法は、身体部位が周囲のシーンによって隠されたり相互作用したりする場合に容易に失敗します。野生環境データ不足に対処するために、私たちは大規模な野生環境エゴセントリックデータセット「Egocentric Poses in the Wild (EgoPW)」を収集しました。このデータセットは、頭部装着型魚眼カメラと補助的な外部カメラで撮影されており、学習中に第三者視点からの人間体の追加観測を提供します。私たちは、新しいデータセットと弱い外部監督を使用して学習可能な新しいエゴセントリック姿勢推定手法を提案します。具体的には、まず外部視点監督を組み込んだ空間時間最適化手法によりEgoPWデータセットの疑似ラベルを生成します。その後、これらの疑似ラベルを使用してエゴセントリック姿勢推定ネットワークを学習させます。ネットワーク学習を促進するために、事前学習された外部視点姿勢推定モデルによって抽出された高品質な特徴量でエゴセントリック特徴量を監督する新しい学習戦略を提案します。実験結果は、私たちの手法が単一の野生環境エゴセントリック画像から正確な3次元姿勢を予測し、定量的にも定性的にも最先端の手法を超えることを示しています。