Command Palette

Search for a command to run...

4ヶ月前

SEFD:複雑なポーズおよびオクルージョンを学ぶための知識蒸留

{SukJu Kang Geonho Cha Ho-Deok Jang Dongyoon Wee SungJun Min Kyeongbo Kong ChangHee Yang}

SEFD:複雑なポーズおよびオクルージョンを学ぶための知識蒸留

要約

本稿では、複雑なポーズや遮蔽状況下における3次元(3D)人体メッシュ推定の問題に取り組む。2次元(2D)ポーズを用いた3D人体メッシュ推定において、人間同士の遮蔽に関する改良は多数なされているが、複雑なポーズや他の物体による遮蔽は依然として一貫した課題である。そこで、ベースラインモデルと比較してパラメータ数を増加させることなく、複雑なポーズおよび遮蔽に対して高いロバスト性を示す新しい手法「スキン付き多人物線形モデル(SMPL)エッジ特徴蒸留(Skinned Multi-Person Linear (SMPL) Edge Feature Distillation, SEFD)」を提案する。本手法は、対象人物の境界と遮蔽情報を含む、真値に類似したSMPL重複エッジを生成し、シンプルなエッジマップ上で後続の特徴蒸留を実行する。さらに、さまざまなベンチマーク上で実験を行い、定性的および定量的に高い忠実性を示す。広範な実験により、ドメインギャップが存在する3DPWデータセットにおいて、従来の最先端手法と比較してMPJPEで2.8%、MPVPEで1.9%の性能向上を達成した。また、遮蔽、複雑なポーズ、ドメインギャップが共存する3DPW-OCC、3DPW-PC、RH-Dataset、OCHuman、CrowdPose、LSPデータセットにおいても、優れた性能を発揮した。コードおよび遮蔽・複雑ポーズアノテーションは、https://anonymous.4open.science/r/SEFD-B7F8/ にて公開される予定である。

ベンチマーク

ベンチマーク方法論指標
2d-human-pose-estimation-on-ochumanSEFD
Test AP: 44.1
3d-human-pose-estimation-on-3dpwSEFD
MPJPE: 77.37
MPVPE: 92.60
PA-MPJPE: 49.39
3d-human-pose-estimation-on-3dpwSEFD_GT
MPJPE: 64.75
MPVPE: 78.36
PA-MPJPE: 43.79

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SEFD:複雑なポーズおよびオクルージョンを学ぶための知識蒸留 | 論文 | HyperAI超神経