HyperAIHyperAI

Command Palette

Search for a command to run...

AdaFuse:野外環境における高精度な人体ポーズ推定のための適応的マルチビュー融合

Zhe Zhang Chunyu Wang Weichao Qiu Wenhu Qin Wenjun Zeng

概要

野生環境における人体ポーズ推定において、オクルージョン(遮蔽)はおそらく最大の課題である。従来の解決策は、遮蔽された関節を検出するために侵襲的なセンサ(例えばIMU)に依存するものが多い。より真に制約のない状況を実現するため、本研究ではAdaFuseという適応的マルチビュー融合手法を提案する。この手法は、可視ビューにおける特徴を活用して遮蔽されたビューの特徴を強化することを可能にする。AdaFuseの核となるのは、二つのビュー間の点対応(point-point correspondence)を決定することであり、この問題をヒートマップ表現のスパース性を活用することで効果的に解決している。さらに、各カメラビューごとに適応的な融合重みを学習し、各ビューの特徴品質を反映させることで、「良質な」特徴が「劣悪な」ビューによって不適切に損なわれるリスクを低減する。融合モデルはポーズ推定ネットワークとエンド・トゥ・エンドで訓練され、追加の適応処理なしに新たなカメラ構成に直接適用可能である。本手法は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットにおいて広範な評価を行い、すべてのデータセットで既存の最先端手法を上回る性能を達成した。また、遮蔽された関節について数値評価を可能にするために、大規模な合成データセット「Occlusion-Person」を構築した。このデータセットは画像内の各関節に対して遮蔽ラベルを提供しており、定量的な評価が可能となる。データセットおよびコードは、https://github.com/zhezh/adafuse-3d-human-pose にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AdaFuse:野外環境における高精度な人体ポーズ推定のための適応的マルチビュー融合 | 記事 | HyperAI超神経