PC-HMR：2次元画像/動画からの3D人体メッシュ復元におけるポーズ補正

エンドツーエンド型の人体メッシュ回復（Human Mesh Recovery: HMR）アプローチは、3次元人体再構成において成功裏に活用されてきた。しかし、大多数のHMRベースのフレームワークは、画像や動画から直接メッシュパラメータを学習することで人体を再構成しているが、視覚データにおける3次元人体ポーズの明示的なガイドラインを欠いている。その結果、複雑な動作において生成されたメッシュは不適切なポーズを示すことが多くなっている。この問題に対処するため、本研究では3次元ポーズを活用して人体メッシュを補正する手法を提案する。具体的には、直列的（Serial PC-HMR）および並列的（Parallel PC-HMR）に高度な3次元ポーズ推定器とHMRを統合した、2つの新しいポーズ補正フレームワークを構築した。これらのフレームワークは、簡潔なポーズ補正モジュールを用いて、人体メッシュの誤った姿勢を効果的に修正可能である。さらに、補正モジュールが非剛体ポーズ変換に基づいて設計されているため、骨長の変動に対しても柔軟に対応でき、補正後のメッシュにおける位置ずれを軽減することができる。最終的に、本フレームワークはデータ駆動型学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいており、プラグアンドプレイ可能なモジュール構造を採用しているため、画像または動画に基づく人体メッシュ回復の両方に対して効率的に適応可能である。また、テストフェーズにおいて追加の3次元ポーズアノテーションを必要としないため、実用上の推論の困難を回避できる。本研究では、代表的なベンチマークデータセットであるHuman3.6M、3DPW、SURREALにおいて広範な実験を行い、提案するPC-HMRフレームワークが最先端（SOTA）の性能を達成した。