17日前

AdaFuse:野外環境における高精度な人体ポーズ推定のための適応的マルチビュー融合

Zhe Zhang, Chunyu Wang, Weichao Qiu, Wenhu Qin, Wenjun Zeng
AdaFuse:野外環境における高精度な人体ポーズ推定のための適応的マルチビュー融合
要約

野生環境における人体ポーズ推定において、オクルージョン(遮蔽)はおそらく最大の課題である。従来の解決策は、遮蔽された関節を検出するために侵襲的なセンサ(例えばIMU)に依存するものが多い。より真に制約のない状況を実現するため、本研究ではAdaFuseという適応的マルチビュー融合手法を提案する。この手法は、可視ビューにおける特徴を活用して遮蔽されたビューの特徴を強化することを可能にする。AdaFuseの核となるのは、二つのビュー間の点対応(point-point correspondence)を決定することであり、この問題をヒートマップ表現のスパース性を活用することで効果的に解決している。さらに、各カメラビューごとに適応的な融合重みを学習し、各ビューの特徴品質を反映させることで、「良質な」特徴が「劣悪な」ビューによって不適切に損なわれるリスクを低減する。融合モデルはポーズ推定ネットワークとエンド・トゥ・エンドで訓練され、追加の適応処理なしに新たなカメラ構成に直接適用可能である。本手法は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットにおいて広範な評価を行い、すべてのデータセットで既存の最先端手法を上回る性能を達成した。また、遮蔽された関節について数値評価を可能にするために、大規模な合成データセット「Occlusion-Person」を構築した。このデータセットは画像内の各関節に対して遮蔽ラベルを提供しており、定量的な評価が可能となる。データセットおよびコードは、https://github.com/zhezh/adafuse-3d-human-pose にて公開されている。

AdaFuse:野外環境における高精度な人体ポーズ推定のための適応的マルチビュー融合 | 最新論文 | HyperAI超神経