単一画像からの3次元人間姿勢推定のための二重ソースアプローチ

本研究では、単一画像から3次元人間姿勢を推定するという難問に取り組んでいます。最近の手法は、深層ニューラルネットワークを用いて画像から直接3次元姿勢を回帰学習しています。しかし、このような方法にとって大きな課題の一つは訓練データの収集です。特に、大量の制約のない画像で正確な3次元姿勢が注釈された訓練データを収集することは現実的ではありません。そこで、我々は2つの独立した訓練ソースを使用することを提案します。1つ目のソースは正確な3次元モーションキャプチャデータで、2つ目のソースは2次元姿勢が注釈された制約のない画像です。両方のソースを統合するために、我々は2次元姿勢推定と効率的な3次元姿勢検索を組み合わせた双方向ソースアプローチを提案します。この目的のために、まずモーションキャプチャデータを正規化された2次元姿勢空間に変換し、画像データから別々に2次元姿勢推定モデルを学習します。推論時には、2次元姿勢を推定し、近い3次元姿勢を効率的に検索します。その後、3次元姿勢空間から画像へのマッピングを共同で推定し、3次元姿勢を再構成します。我々は提案手法の包括的な評価を行い、実験的にその有効性を示しました。これは特に2つのソースの骨格構造が大きく異なる場合でも同様です。（注：「双方向ソースアプローチ」は "dual-source approach" の訳語として使用しましたが、「二重ソースアプローチ」や「二つの情報源アプローチ」なども使用可能です。）