MeTRAbs: メトリックスケールの切り捨てに強いつながりを持つヒートマップによる絶対3D人間姿勢推定

ヒートマップ表現は、長年にわたり人間の姿勢推定システムの基礎を形成してきました。最近の研究では、3次元への拡張が有望な方向性となっています。これには、X軸とY軸が画像空間に対応し、Z軸が被写体周辺の計量深度に対応する2.5次元ボリュームヒートマップも含まれます。計量スケールの予測を得るためには、2.5次元手法ではスケールの曖昧性を解消する別個の後処理ステップが必要です。さらに、画像境界外にある関節を局在化できないため、切り取られた画像に対して不完全な推定結果となることがあります。これらの制限を解決するために、我々はすべての次元が計量3次元空間で定義され、画像空間に合わせていないメトリックスケール耐切断ボリュームヒートマップ（MeTRo）を提案します。ヒートマップの次元をこのように再解釈することで、テスト時の距離情報や骨長などの人体計測的なヒューリスティックに依存することなく、直接完全な計量スケールの姿勢を推定することが可能になります。我々の表現の有用性をさらに示すために、3次元計量スケールヒートマップと2次元画像空間ヒートマップを微分可能な形で組み合わせて絶対3次元姿勢を推定するアーキテクチャ（MeTRAbs）を提示します。絶対姿勢損失による監視が正確な根関節相対でない局在化にとって重要であることが確認されました。ResNet-50バックボーンを使用し、さらなる学習層なしでHuman3.6M、MPI-INF-3DHPおよびMuPoTS-3Dにおいて最先端の結果を得ました。我々はコードを公開し、さらなる研究を促進することにします。