2ヶ月前
不確実性を考慮した自己監督3次元人間姿勢推定の適応
Kundu, Jogendra Nath ; Seth, Siddharth ; YM, Pradyumna ; Jampani, Varun ; Chakraborty, Anirban ; Babu, R. Venkatesh

要約
単眼3Dヒューマンポーズ推定の進歩は、大規模な2D/3Dポーズアノテーションを必要とする教師あり手法によって主導されています。これらの手法は、未知の分布外データを排除するための手段がない場合、しばしば不安定な動作を示します。この問題に対処するために、3Dヒューマンポーズ学習を教師なしドメイン適応問題として扱います。私たちはMRP-Netを提案し、共通の深層ネットワークバックボーンと2つの異なる設定に属する2つの出力ヘッドから構成されます。a) モデルフリーの関節局在化と b) モデルベースのパラメトリック回帰です。このような設計により、ポーズレベルと関節レベルの両方で予測不確実性を定量的に評価する適切な指標を導出することができます。教師ありデータとして合成サンプルのみを使用しながら、適応プロセスはターゲット画像(未ラベル)の不確実性を最小限に抑えつつ、極端な分布外データセット(背景)に対してその不確実性を最大化することを目指します。合成から実際の3Dポーズへの適応に加えて、関節レベルでの不確実性評価により、遮蔽や切断が存在する野生環境画像にも対応できるようになります。提案手法の包括的な評価を行い、ベンチマークデータセットにおいて最先端の性能を示すことを証明しました。