拡散に基づく3次元人間姿勢推定と多仮説集約

本論文では、確率的な3次元人間姿勢推定のための新しい拡散ベースの3次元姿勢推定（D3DP）手法と、関節単位での再投影に基づく多候補集約（JPMA）手法を提案しています。一方で、D3DPは単一の2次元観測に対して複数の可能な3次元姿勢候補を生成します。この手法は、真値の3次元姿勢を徐々にランダムな分布へと拡散させ、2次元キーポイントに条件付けられたノイズ除去器を学習することで、未汚染の3次元姿勢を復元します。提案されたD3DPは既存の3次元姿勢推定器との互換性があり、推論時に効率と精度のバランスを取るための2つのカスタマイズ可能なパラメータを提供します。他方で、JPMAはD3DPによって生成された複数の候補を実用的な単一の3次元姿勢に集約するために提案されています。この手法は、3次元姿勢候補を2次元カメラ平面に再投影し、再投影誤差に基づいて各関節ごとに最適な候補を選択し、選択された関節を最終的な姿勢に結合します。提案されたJPMAは関節レベルでの集約を行い、2次元事前情報を利用する点において、従来のアプローチが見落としていた両面を取り入れています。Human3.6MおよびMPI-INF-3DHPデータセットにおける広範な実験結果から、当方法が確定的および確率的アプローチにおける最先端技術よりもそれぞれ1.5%および8.9%優れていることが示されました。コードはhttps://github.com/paTRICK-swk/D3DP で公開されています。