PersonLab: 個人姿勢推定とインスタンスセグメンテーションを実現するボトムアップ型、部位ベースの幾何学的埋め込みモデル

私たちは、多人数画像における人の姿勢推定とインスタンスセグメンテーションのタスクを効率的な単一ショットモデルを使用して、ボックスフリーのボトムアップアプローチを提案します。提案するPersonLabモデルは、部位ベースモデリングを使用して、意味レベルの推論とオブジェクト部位の関連付けを両方処理します。当モデルでは、個々のキーポイントを検出し、それらの相対的な位置移動を予測するための畳み込みネットワークが用いられます。これにより、キーポイントを人間の姿勢インスタンスにグループ化することが可能になります。さらに、部位誘導型幾何学的埋め込み記述子（part-induced geometric embedding descriptor）を提案し、意味的な人物ピクセルを対応する人物インスタンスに関連付けることができます。これにより、インスタンスレベルでの人物セグメンテーションが実現されます。私たちのシステムは完全な畳み込みアーキテクチャに基づいており、推論が効率的に行えるよう設計されています。実行時間は基本的にシーン内に存在する人数に依存しません。COCOデータのみで訓練された当システムは、単一スケール推論ではCOCOテストデバイスキーポイント平均精度が0.665、マルチスケール推論では0.687を達成しており、従来のすべてのボトムアップ姿勢推定システムを大幅に上回っています。また、COCOインスタンスセグメンテーションタスクにおいても人物クラスで競争力のある結果を得た初めてのボトムアップ手法であり、人物カテゴリ平均精度0.417を達成しています。