直感的物理学を用いた3D人体ポーズ推定

画像から3次元人体を推定する手法は、しばしば傾斜したり浮遊したり、床を貫通する不自然な人体形状を生成してしまう。こうした手法は、通常、人体がシーンによって支えられているという事実を無視している。物理エンジンを用いれば物理的に妥当な形状を強制できるが、それらは微分不可能であり、現実的でない仮想人体に依存しており、既存の最適化や学習フレームワークへの統合も困難である。これに対して、本研究では、3次元SMPL人体がシーンと相互作用する際に得られる新たな直感的物理（Intuitive Physics, IP）項を活用する。生物学的力学の知見に着想を得て、人体上の圧力ヒートマップを推定し、そのヒートマップから圧力中心（Center of Pressure, CoP）を導出し、さらにSMPL人体の重心（Center of Mass, CoM）を算出する。これらのIP項を用いて、床との物理的に妥当な接触を促進し、CoPとCoMが一致するよう配置することで、「安定した」姿勢を持つ3次元人体をカラー画像から推定するIPMANを構築した。本研究で提案するIP項は直感的で実装が容易、計算が高速であり、微分可能であり、既存の最適化および回帰手法へ容易に統合可能である。標準データセットおよび、複雑なポーズ、人体-床接触、重心、圧力分布の真値を備えた新規データセットMoYoを用いた評価において、IPMANは最先端手法よりもより現実的な結果を生成し、静的ポーズにおいて精度を向上させつつ、動的ポーズの性能を損なわないことを確認した。コードとデータは研究用に https://ipman.is.tue.mpg.de にて公開されている。