サンプリングは重要である：ポイントガイダンスによる3次元ヒューマンメッシュ再構築

本論文では、単一のRGB画像から3次元ヒューマンメッシュを再構築するための単純でありながら強力な手法を提案します。最近では、トランスフォーマーにおいて全体のメッシュ頂点間の非局所的な相互作用が効果的に推定される一方で、グラフモデルを通じて身体部位間の関係性も取り扱われるようになりました。これらのアプローチは3次元ヒューマンメッシュ再構築において著しい進歩を遂げていますが、2次元入力画像からエンコードされた特徴量と各頂点の3次元座標との関係性を直接推論することは依然として困難です。この問題を解決するために、私たちは単純な特徴サンプリングスキームの設計を提案します。その中心的なアイデアは、3次元メッシュ頂点（すなわち、真値）の投影結果として推定されたポイント群に従って埋め込み空間で特徴量をサンプリングすることです。これにより、モデルは2次元空間における頂点に関連する特徴量により集中し、自然な人間の姿勢の再構築につながります。さらに、進行的な注意マスキングを適用することで、深刻な遮蔽下でも頂点間の局所的な相互作用を正確に推定することが可能となります。ベンチマークデータセットでの実験結果は、提案手法が3次元ヒューマンメッシュ再構築の性能を効率的に向上させることを示しています。本研究で使用したコードとモデルは公開されており、以下のURLからアクセスできます: https://github.com/DCVL-3D/PointHMR_release.