多人3D人体姿态估计中的显式遮挡推理 多人3D人体姿勢推定における明示的な遮蔽推論

遮蔽は、形状、外観、位置の大きな変動性により、単眼多人数3次元人間姿勢推定に大きな脅威をもたらしています。既存の手法では、姿勢の事前知識/制約、データ拡張、または暗黙的な推論を使用して遮蔽を処理しようとしていますが、未見の姿勢や遮蔽状況には依然として一般化できず、複数の人間が存在する場合に大きな誤差を生むことがあります。人間が可視の手がかりから遮蔽された関節を推測する卓越した能力に着想を得て、当該プロセスを明示的にモデル化する方法を開発しました。これにより、遮蔽があるかないかに関わらず、ボトムアップの多人数人間姿勢推定が大幅に改善されます。まず、このタスクを2つのサブタスクに分割します：可視キーポイント検出と遮蔽キーポイント推論です。そして、後者の問題を解決するために深層監督エンコーダー蒸留（Deeply Supervised Encoder Distillation, DSED）ネットワークを提案します。モデルの学習のために、既存データセット上で擬似遮蔽ラベルを生成する骨格ガイドの人間形状適合（Skeleton-guided human Shape Fitting, SSF）アプローチを提案しました。これにより明示的な遮蔽推論が可能になります。実験結果は、遮蔽から学習することによって人間姿勢推定が改善することを示しています。さらに、可視関節の特徴レベル情報を利用することで、遮蔽された関節についてより正確に推論できるようになりました。当社の手法はいくつかのベンチマークにおいて最先端のトップダウンおよびボトムアップ手法よりも優れた性能を発揮しています。