要約
正確な3次元ヒューマンポーズ推定器の学習には、大量の3次元真値データが必要ですが、これらのデータを収集することはコストがかかります。3次元データの不足により、様々な弱教師ありまたは自己教師ありのポーズ推定手法が提案されてきました。しかしながら、これらの手法は2次元真値ポーズに加えて、様々な形での追加的な教師あり情報（例えば、ペアリングされていない3次元真値データ、ラベルの小さな部分集合）やマルチビュー設定におけるカメラパラメータを必要とします。これらの問題に対処するため、私たちはエピポーラルポーズ（EpipolarPose）という3次元ヒューマンポーズ推定の自己教師あり学習手法を提案します。この手法では、訓練中に多視点画像から2次元ポーズを推定し、その後エピポーラル幾何学を利用して3次元ポーズとカメラ幾何学を得て、これらを使って3次元ポーズ推定器を学習します。私たちは標準的なベンチマークデータセットであるHuman3.6MとMPI-INF-3DHPで当手法の有効性を示し、弱教師あり/自己教師あり手法の中で新たな最先端性能を達成しました。さらに、スケール不変かつ構造認識型の評価指標であるPose Structure Score (PSS) を提案します。この指標はポーズの構造的妥当性を真値に対して評価します。コードと事前学習済みモデルは https://github.com/mkocabas/EpipolarPose で公開されています。