複数人3次元ポーズ推定のための圧縮体積ヒートマップ

本稿では、単眼RGB画像からマルチペルソン3次元人体ポーズ推定を行うための新しいアプローチを提示する。我々は、関節位置を高解像度ボリュームヒートマップで表現する手法を提案し、この表現のサイズを著しく削減するためのシンプルかつ効果的な圧縮手法を考案した。本手法の核となるのは、真値ヒートマップを密な中間表現に圧縮する任务を担う、完全畳み込み型ネットワークである「ボリュームヒートマップオートエンコーダー」である。続いて、この中間表現（コード）を予測する別のモデル「コード予測器（Code Predictor）」を学習し、テスト時にはこれらのコードを復元することで元の表現を再構成する。実験評価の結果、本手法はマルチペルソンおよびシングルペルソンの3次元人体ポーズ推定データセットにおいて、最先端の手法と比較しても優れた性能を示す。また、本研究で提案する新規な圧縮戦略により、シーン内の人物数にかかわらず、フルHD画像を一定の実行速度（8fps）で処理可能であることが確認された。コードとモデルは、https://github.com/fabbrimatteo/LoCO にて公開されている。