複数人ポーズ推定のための微細な局所表現学習

本稿では、新しい手法として「Residual Steps Network（RSN）」を提案する。RSNは、同一空間サイズの特徴量（イントラレベル特徴量）を効率的に集約することで、詳細な局所表現を獲得し、豊富な低レベルの空間情報を保持しつつ、正確なキーポイント定位を実現する。さらに、出力特徴量が最終性能に異なる寄与をしていることを観察した。この問題に対処するため、出力特徴量における局所表現とグローバル表現のバランスを調整し、キーポイント位置をさらに精緻化するための効率的なアテンション機構「Pose Refine Machine（PRM）」を提案する。本手法は、COCO Keypoint Challenge 2019で1位を獲得し、追加の学習データや事前学習モデルを用いずに、COCOおよびMPIIベンチマークにおいて最先端の性能を達成した。単一モデルでは、COCO test-devで78.6、MPII testデータセットで93.0のスコアを達成した。アンサンブルモデルでは、COCO test-devで79.2、COCO test-challengeデータセットで77.1のスコアを記録した。ソースコードは、今後の研究を目的として公開されており、https://github.com/caiyuanhao1998/RSN/ にて入手可能である。