HyperAIHyperAI

Command Palette

Search for a command to run...

End-to-End ヒューマンポーズとメッシュの再構築にTransformersを用いた手法

Kevin Lin Lijuan Wang Zicheng Liu

概要

私たちは単一の画像から3次元の人間の姿勢とメッシュ頂点を再構築する新しい手法、MEsh TRansfOrmer (METRO) を提案します。この手法では、トランスフォーマーエンコーダーを使用して頂点-頂点および頂点-関節の相互作用を共同でモデル化し、3次元の関節座標とメッシュ頂点を同時に出力します。既存の姿勢や形状パラメータを回帰する技術と比較して、METROはSMPLのようなパラメトリックなメッシュモデルに依存せず、手などの他のオブジェクトへの拡張が容易です。さらに、メッシュトポロジーを緩和し、トランスフォーマーの自己注意機構が任意の2つの頂点間で自由に注意を向けることを許可することで、メッシュ頂点と関節間の非局所的な関係性を学習することが可能になりました。提案されたマスク付き頂点モデリングにより、部分的な隠蔽など困難な状況での処理において当手法はより堅牢かつ効果的です。METROは公開データセットHuman3.6Mおよび3DPWにおける人間メッシュ再構築において新たな最先端結果を生成しています。また、FreiHANDデータセットにおいても既存の最先端手法を超える3次元手再構築の汎用性を示しています。コードと事前学習済みモデルはhttps://github.com/microsoft/MeshTransformer で利用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
End-to-End ヒューマンポーズとメッシュの再構築にTransformersを用いた手法 | 記事 | HyperAI超神経