2ヶ月前

単眼3Dヒューマンポーズ推定の生成と順位付け

Sharma, Saurabh ; Varigonda, Pavan Teja ; Bindal, Prashast ; Sharma, Abhishek ; Jain, Arjun
単眼3Dヒューマンポーズ推定の生成と順位付け
要約

単眼カメラによる静止画像からの3次元人間姿勢推定は、次元の呪いと2次元から3次元への変換の不適切な性質(ill-posed nature)により、困難な問題となっています。本論文では、推定された2次元姿勢に基づいて多様かつ解剖学的に妥当な3次元姿勢サンプルを生成する深層条件付き変分オートエンコーダー(Deep Conditional Variational Autoencoder, CVAE)ベースのモデルを提案します。我々は、CVAEベースの3次元姿勢サンプル集合が2次元姿勢と一貫しており、2次元から3次元への変換に固有の曖昧性を解決するのに役立つことを示しています。最終的な3次元姿勢を得るための2つの戦略を提案します。(a) 候補となる3次元姿勢をスコアリングし、重み付け平均を取るための奥行き順序関係(depth-ordering/ordinal relations)を使用する方法、これをOrdinalScoreと呼びます。(b) オラクル(Oracle)からの監督を使用する方法です。我々はOrdinalScoreを使用して2つのベンチマークデータセットで近似最先进結果に匹敵する結果を得ており、オラクルを使用した場合は最先进結果を得ています。また、ペア画像から3Dアノテーションなしでも競合他社に匹敵する結果が得られることも示しています。訓練および評価コードは以下のURLで公開されています: https://github.com/ssfootball04/generative_pose.

単眼3Dヒューマンポーズ推定の生成と順位付け | 最新論文 | HyperAI超神経