要約
ボリュメトリック3Dポーズ推定の成功を受けて、近年の人体メッシュ推定手法の一部は、3Dスケルトンを中間表現として推定し、そのスケルトンからメッシュのトポロジーを活用して密集した3Dメッシュを回帰するアプローチを提案している。しかし、スケルトンを抽出する過程でボディシェイプの情報が失われており、結果として性能がやや劣るという課題がある。先進的なモーションキャプチャシステムは、体表面に高密度の物理的マーカーを配置することで、非剛体運動から現実的なメッシュを抽出できるが、マーカーが存在しない野生画像（wild images）には適用できない。本研究では、大規模なモーションキャプチャデータを用いて生成的なスタイルで学習し、体表面に64個のランドマークキーポイント（virtual markers）を学習する中間表現を提案する。この仮想マーカーは、物理的マーカーの効果を模倣しており、野生画像から正確に検出可能である。さらに、単純な補間により、現実的な形状を備えた完全なメッシュを再構築できる。本手法は、3つのデータセットにおいて最先端手法を上回り、特に多様なボディシェイプを含むSURREALデータセットでは、既存手法と顕著な差を示して優位性を発揮した。コードは以下のURLで公開されている：https://github.com/ShirleyMaxx/VirtualMarker