GenHMR: 生成的人体メッシュ回復

人間メッシュ回復（HMR）は、ヘルスケアから芸術やエンターテインメントに至るまで、多くのコンピュータビジョンの応用において重要な役割を果たしています。単眼画像からのHMRは、主に確定的な方法で取り組まれてきましたが、これらの方法は与えられた2D画像に対して単一の予測を出力します。しかし、単眼画像からのHMRは深度の曖昧さと遮蔽により不適切な問題となり得ます。確率的な方法では、この問題に対処するために複数の可能な3D再構築を生成し融合する試みがなされてきましたが、その性能はしばしば確定的なアプローチに及ばないものでした。本論文では、GenHMRという新しい生成フレームワークを提案します。GenHMRは単眼HMRを画像条件付き生成タスクとして再定式化し、2Dから3Dへのマッピング過程における不確実性を明示的にモデル化および軽減することを目指しています。GenHMRには2つの主要な構成要素があります：(1) 姿勢トークナイザ（pose tokenizer），これは3Dの人間姿勢を潜在空間内の離散トークン列に変換するためのものです；(2) 画像条件付きマスク変換器（image-conditional masked transformer），これは入力画像プロンプトとランダムにマスクされたトークン列に基づいて姿勢トークンの確率分布を学習するためのものです。推論時には、モデルは学習した条件付き分布からサンプリングし、高信頼度の姿勢トークンを反復的にデコードすることで3D再構築の不確実性を低減します。さらに再構築精度を向上させるために、2D姿勢ガイドによる微調整技術が提案されています。これにより潜在空間内でデコードされた姿勢トークンが直接微調整され、投影された3Dボディメッシュが2D姿勢ヒントと一致することが強制されます。ベンチマークデータセットでの実験結果は、GenHMRが最先端の手法よりも大幅に優れていることを示しています。プロジェクトウェブサイトは以下のURLでご覧いただけます：https://m-usamasaleem.github.io/publication/GenHMR/GenHMR.html