Command Palette
Search for a command to run...
三角測量を用いた3次元人間姿勢推定の自己監督について
三角測量を用いた3次元人間姿勢推定の自己監督について
Soumava Kumar Roy* Leonardo Citraro* Sina Honari Pascal Fua
概要
単一画像からの3次元姿勢推定における教師ありアプローチは、ラベル付きデータが豊富な場合に非常に効果的です。しかし、真の3次元ラベルの取得は労力と時間が必要であるため、最近では半教師ありおよび弱教師あり学習への注目が高まっています。混雑したシーンにおいては、少量のアノテーションで効果的な監視を生成することが依然として大きな課題となっています。本論文では、重み付け微分可能三角測量(weighted differentiable triangulation)を用いて多視点幾何制約を課し、ラベルがない場合に自己監視として使用することを提案します。これにより、2次元姿勢推定器を訓練してその予測が三角測量された3次元姿勢の再投影に対応し、補助ネットワークを用いて最終的な3次元姿勢を生成します。また、自己遮蔽や他の被験者による遮蔽によって引き起こされるノイジーな予測の影響を軽減するための重み付けメカニズムも導入しています。我々はHuman3.6MおよびMPI-INF-3DHPデータセットにおいて、そして新しい多視点多人物データセット(occlusionが特徴)においても、提案する半教師ありアプローチの有効性を示しています。