HyperAIHyperAI

Command Palette

Search for a command to run...

変換器を用いた3D人体メッシュ回復のための分離されたモダリティのクロスアテンション

Junhyeong Cho Kim Youwang Tae-Hyun Oh

概要

最近、Transformerエンコーダー構造は単一画像からの3次元人間メッシュ再構成において、最先端の性能を達成しているが、その一方で膨大なパラメータ数と高コストな計算を必要とするという課題がある。大規模なメモリオーバーヘッドと遅い推論速度のため、実用的なデプロイには困難が伴う。本論文では、単一画像から3次元人間メッシュを再構成するための新しいTransformerエンコーダー・デコーダー構造、FastMETROを提案する。我々は、エンコーダーに基づくTransformerにおける性能のボトルネックが、入力トークン間の高複雑性な相互作用を引き起こすトークン設計に起因することを特定した。この問題を、エンコーダー・デコーダー構造を用いて解消することで、モデルのパラメータ数を大幅に削減し、推論時間を短縮することが可能となった。さらに、アテンションマスキングおよびメッシュのアップサンプリング操作を通じて、人間の体の形状的関係に関する事前知識を導入することで、収束速度が向上し、精度も向上した。FastMETROは、精度と効率のパレート最適フロントを改善し、Human3.6Mおよび3DPWデータセットにおいて、従来の画像ベース手法を明確に上回った。また、FreiHANDデータセットを用いた実験により、本手法の汎用性も検証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています