単段階多人間解析におけるポイントセットとセンターベースのオフセットを用いた方法

本研究は多人数解析問題に焦点を当てています。既存の手法は、トップダウンまたはボトムアップの二段階パラダイムを採用していることが多く、通常高価な計算コストが伴います。そこで、私たちは高性能な単一ステージ多人数解析（Single-stage Multi-human Parsing: SMP）深層アーキテクチャを提案します。このアーキテクチャは、多人数解析問題を人間の体と部位の位置特定という2つの細かい部分問題に分離します。SMPは重心位置でのポイント特徴を活用してセグメンテーションを行い、その後人間の体の重心から各部位の重心への一連のオフセットを生成することで、グループ化プロセスなしで人間の体と部位のマッチングを行います。SMPアーキテクチャ内では、生成されたマスク注意を利用してインスタンスの全体的な特徴を抽出するための「精緻化特徴保持モジュール」（Refined Feature Retain module）と、予測されたセグメンテーションを使用して分類結果を精緻化するための「関心マスク再分類モジュール」（Mask of Interest Reclassify module）という学習可能なプラグインモジュールを提案しています。MHPv2.0データセットにおける広範な実験により、提案手法が最良の効果と効率性を持つことが示されました。特にAP50pで2.1%、APvolpで1.0%、PCP50で1.2%上回るなど、最先端手法を超える性能を発揮しました。さらに、提案手法は少ない訓練エポック数とより単純なモデルアーキテクチャが必要であるという利点があります。私たちはソースコード、事前学習済みモデル、およびオンラインデモを公開し、さらなる研究を促進することを目指しています。