Command Palette
Search for a command to run...
CHORE:単一のRGB画像からの接触、人間および物体再構成
CHORE:単一のRGB画像からの接触、人間および物体再構成
Xianghui Xie Bharat Lal Bhatnagar Gerard Pons-Moll
概要
画像から3次元人体を推定する従来の研究は、周囲環境を無視した状態で人体のみを対象としている。しかし、人間は常に周囲の物体と相互作用しており、人体だけでなく物体およびそれらの相互作用を推論できるモデルの開発が求められている。この問題は、人体と物体間の重度な遮蔽、多様な相互作用の種類、深度の曖昧性といった要因により極めて困難である。本論文では、単一のRGB画像から人体と物体を共同で再構成する新しい手法CHOREを提案する。CHOREは、最近の陰関数表面学習の進展と古典的なモデルベースフィッティングの知見に着想を得ている。本手法は、2つの符号なし距離関数(unsigned distance fields)により陰的に表現された人体と物体のニューラル再構成、パラメトリックな身体モデルとの対応関係を示す対応フィールド、および物体の姿勢を表す姿勢フィールドを計算する。これにより、パラメトリックな身体モデルと3次元物体テンプレートを堅牢にフィッティングしつつ、相互作用の推論も可能となる。さらに、従来のピクセル対応型陰関数学習手法は合成データに依存し、実データでは成り立たない仮定を置いている。本研究では、実データ上での形状学習をより効率的に行うための洗練された深度感知スケーリングを提案する。実験の結果、提案する戦略によって学習された共同再構成は、従来の最先端手法(SOTA)を顕著に上回ることが示された。本研究のコードおよびモデルは、https://virtualhumans.mpi-inf.mpg.de/chore にて公開されている。