2ヶ月前
2Dヒューマンポーズからのヒューマンメッシュ再構築のための軽量グラフトランスフォーマーネットワーク
Ce Zheng; Matias Mendieta; Pu Wang; Aidong Lu; Chen Chen

要約
既存の深層学習に基づくヒューマンメッシュ再構築手法は、より高い精度を達成するために大型のネットワークを構築する傾向がある。計算複雑性とモデルサイズは実用的なヒューマンメッシュ再構築モデル(例:バーチャル試着システム)にとって重要な特性であるにもかかわらず、しばしば軽視されている。本論文では、GTRSという軽量な姿勢ベースの手法を提案する。この手法は2Dヒューマンポーズからヒューマンメッシュを再構築できる。我々は、グラフトランスフォーマーを使用して構造化されたおよび暗黙的な関節相関を活用するポーズ解析モジュールと、抽出されたポーズ特徴量とメッシュテンプレートを組み合わせて最終的なヒューマンメッシュを再構築するメッシュ回帰モジュールを提案する。Human3.6Mデータセットと3DPWデータセットでの広範な評価を通じて、GTRSの効率性と汎化能力を示す。特に、困難な野外環境で撮影された3DPWデータセットにおいて、GTRSはSOTA(State-of-the-Art)の姿勢ベース手法Pose2Meshよりも高い精度を達成しながら、パラメータ数(Params)は10.2%、FLOPs(Floating Point Operations per Second)は2.5%しか使用していない。コードは公開される予定である。