HyperAIHyperAI

Command Palette

Search for a command to run...

3D人体メッシュ回帰における密な対応付け

Wang Zeng Wanli Ouyang Ping Luo Wentao Liu Xiaogang Wang

概要

2次元画像1枚から人体の3Dメッシュを推定することは、拡張現実や人間-ロボットインタラクションなど多くの応用において重要なタスクである。しかし、従来の手法は畳み込みニューラルネットワーク(CNN)によって抽出されたグローバルな画像特徴から3Dメッシュを再構成していたため、メッシュ表面と画像ピクセルの間の密な対応関係が欠落しており、最適解に至らない結果に終わることが多かった。本論文では、モデルフリーな3D人体メッシュ推定フレームワークであるDecoMRを提案する。DecoMRは、3Dメッシュのテクスチャマッピングに用いられる2次元空間(UV空間)において、メッシュと局所的な画像特徴の間の密な対応関係を明示的に構築する。具体的には、まず画像空間のピクセルからメッシュ表面への密な対応関係(すなわちIUV画像)を予測し、その情報を用いて画像空間の局所特徴をUV空間に転送する。次に、転送された局所画像特徴をUV空間で処理し、転送された特徴と良好に整合する位置マップを回帰する。最後に、回帰された位置マップを元に事前に定義された写像関数を用いて3D人体メッシュを再構成する。また、従来の不連続なUVマップがネットワークの学習に対して不利であることに着目し、元のメッシュ表面における近接関係の大部分を保持する新たなUVマップを提案する。実験の結果、本研究で提案する局所特徴のアライメント手法および連続的なUVマップが、複数の公的ベンチマークにおいて既存の3Dメッシュベースの手法を上回ることを示した。コードはhttps://github.com/zengwang430521/DecoMRにて公開される予定である


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています