Pose2Seg: 検出不要のヒューマンインスタンスセグメンテーション

画像インスタンスセグメンテーションの標準的なアプローチは、まず物体検出を行い、その後検出されたバウンディングボックスから物体をセグメントすることである。最近では、Mask R-CNNなどの深層学習手法がこれらを同時に行う方法が開発されている。しかし、人体の「ヒューマン」カテゴリの独自性に着目した研究は少ない。人体はポーズ骨格によって明確に定義でき、特に重い被覆がある場合、バウンディングボックスを使用するよりもポーズ骨格を使用することでインスタンスをより正確に区別できる。本論文では、人体のポーズに基づいてインスタンスを分離する新しいポーズベースのインスタンスセグメンテーションフレームワークを提案する。このフレームワークは、提案領域検出ではなく、人体のポーズに基づいてインスタンスを分離するものである。実験結果から、我々のポーズベースのフレームワークは人間のインスタンスセグメンテーション問題において現行の最先端の検出ベースアプローチよりも高い精度を達成できることを示すとともに、被覆処理もより優れていることを確認した。さらに、多くの被覆のある人間と包括的な注釈を持つ公開データセットが少ないため、この問題は研究者にとってあまり注目されていない課題となっている。そこで本論文では、「Occluded Human (OCHuman)」という新たなベンチマークデータセットを紹介する。このデータセットは4731枚の画像内に8110個の詳細な注釈付き人間インスタンスを含んでおり、各人物に対する平均MaxIoU（最大交差率）が0.67である。OCHumanは最も複雑で挑戦的な人間インスタンスセグメンテーションに関連するデータセットであり、本データセットを通じて被覆が研究者にとって重要な課題であることを強調したい。以上のようにして、我々は被覆問題に対する研究者の関心を高めることを目指している。