2ヶ月前

HuManiFlow: SO(3) 多様体上の先祖条件付き正規化フローによる人間の姿勢と形状分布推定

Sengupta, Akash ; Budvytis, Ignas ; Cipolla, Roberto
HuManiFlow: SO(3) 多様体上の先祖条件付き正規化フローによる人間の姿勢と形状分布推定
要約

単眼3Dヒューマンポーズと形状推定は、複数の3D解が被写体の2D画像を説明できるため、不適切な問題である。最近の手法では、画像に基づいて妥当な3Dポーズと形状パラメータの確率分布を予測する。これらの手法は、以下の3つの重要な特性間でトレードオフが存在することを示している:(i) 精度 - 予測分布下での真値3D解の尤度、(ii) サンプル入力の一貫性 - 予測分布から得られる3Dサンプルが可視2D画像証拠にどれだけ一致しているか、(iii) サンプルの多様性 - 予測分布によってモデル化される妥当な3D解の範囲。我々の方法であるHuManiFlowは、同時に精度が高く、一貫性があり、多様性のある分布を予測する。人間の運動学的ツリーを使用して、全身ポーズを先祖条件付き部位ごとのポーズ分布に分解し、自己回帰的な方法で処理する。部位ごとの分布は、SO(3)(各部位ポーズのリー群)の多様体構造を尊重する正規化フローを使用して実装される。我々は不適切だが一般的な3D点推定損失がサンプルの多様性を低下させることを示し、確率的な訓練損失のみを使用する。コードは以下から入手可能である:https://github.com/akashsengupta1997/HuManiFlow。

HuManiFlow: SO(3) 多様体上の先祖条件付き正規化フローによる人間の姿勢と形状分布推定 | 最新論文 | HyperAI超神経