MaskHand: 野生環境下での堅牢な手のメッシュ再構築のための生成マスクモデル

単一のRGB画像から3次元手のメッシュを再構成することは、複雑な関節運動、自己遮蔽、および深度の曖昧さのために困難です。従来の判別的手法は、2次元画像から1つの3次元メッシュへの確定的なマッピングを学習しますが、2Dから3Dへのマッピングに内在する曖昧さに対処することがしばしば難しくなります。この課題を解決するために、私たちはMaskHandという新しい生成モデルを提案します。MaskHandは、2Dから3Dへの曖昧なマッピングプロセスの確率分布を学習しサンプリングすることで、合理的な3次元手のメッシュを合成します。MaskHandは2つの主要なコンポーネントで構成されています。(1) VQ-MANO（Vector Quantized MANO）：これは3次元手の関節運動を潜在空間内の離散的な姿勢トークンとして符号化します。(2) コンテキストガイダンス付きマスクトランスフォーマー：これはランダムに姿勢トークンをマスクし、破損したトークンシーケンス、画像コンテキスト、および2D姿勢ヒントに基づいてその結合分布を学習します。この学習された分布は推論時に信頼度に基づいたサンプリングを促進し、不確実性が低く精度が高いメッシュ再構成を生成します。ベンチマークデータセットと実世界データセットでの広範な評価により、MaskHandが3次元手のメッシュ再構成において最先端の正確性、堅牢性、および現実感を持つことが示されています。プロジェクトウェブサイト：https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.