インスタンスレベルの人間パーシングを用いた部位グループ化ネットワーク

実際のヒューマン分析シナリオにおけるインスタンスレベルのヒューマンパーシングは、十分なデータリソースの欠如と単一パスで複数のインスタンスを解析する技術的な難しさにより、まだ十分に研究されていません。関連するいくつかの研究では、「検出によるパーシング」パイプラインが採用されており、これには別々に訓練された検出モデルを使用してインスタンスを局所化し、その後各インスタンスに対して順次ヒューマンパーシングを行うという手法が含まれています。しかし、検出とパーシングの最適化目標が異なるため、最終結果での表現学習が非最適となり、誤差が累積することがあります。本研究では、初めて複数の人間を画像内で単一パスで効率的に解析できる検出不要のパーツグループネットワーク（PGN）を探索します。私たちのPGNは、インスタンスレベルのヒューマンパーシングを以下の2つの双子のサブタスクとして再定式化し、統一されたネットワークを通じてこれらを共同で学習し、相互に洗練することを目指しています：1) 各ピクセルを人間の部位（例：顔、腕）として分類するセマンティックパーツセグメンテーション；2) セマンティックパーツを個別の人物インスタンスにグループ化するためのインスタンス認識エッジ検出。この共有中間表現は、細かい部位を特徴づける能力と各部位が属するインスタンスを推論する能力を持つようになります。最後に、推論時に単純なインスタンス分割プロセスを使用して最終結果を得ます。私たちはPASCAL-Person-Partデータセット上で実験を行い、提案したPGNはすべての最先端手法を上回る性能を示しました。さらに、38,280枚以上の多様な画像を含む新規収集された多人物パーシングデータセット（CIHP）においてもその優位性を示しており、これは現在まで最大規模のデータセットであり、より高度なヒューマン分析への貢献が期待されます。CIHPベンチマークと私たちのソースコードはhttp://sysu-hcp.net/lip/から利用可能です。