SVMAC: 単一画像からの非監督3D人間姿勢推定に向けた単視点多角度一貫性の利用

2D関節から3Dヒューマンポーズを復元することは、依然として難問であり、特に3Dアノテーション、ビデオ情報、またはマルチビュー情報がない場合にその傾向が顕著です。本論文では、3Dアノテーションなしで単一画像から3Dヒューマンポーズを推定するための無教師学習型GANベースモデルを提案します。当該モデルは複数の重み共有ジェネレータで構成されており、単視点多角度一致性（Single-View-Multi-Angle Consistency: SVMAC）を導入することで、推定性能を大幅に向上させています。2D関節位置を入力とし、当該モデルは3Dポーズとカメラを同時に推定します。訓練中には、推定された3Dポーズがランダムな角度で回転され、推定されたカメラによって回転後の3Dポーズが2Dに再投影されます。これらの2D再投影は重み共有ジェネレータに入力され、対応する3Dポーズとカメラを推定します。その後、これらの推定結果が混合され、SVMAC制約が自己監督的な訓練プロセスに課されます。実験結果は、Human 3.6MおよびMPI-INF-3DHPにおいて当該手法が最先端の無教師学習方法よりも優れていることを示しています。さらに、MPIIおよびLSPにおける質的評価結果は、当該手法が未知のデータにも良好に一般化できることを示しています。