Pose2Seg : Segmentation d'instances humaines sans détection

L'approche standard pour le segmention d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection. Plus récemment, des méthodes d'apprentissage profond comme Mask R-CNN les réalisent conjointement. Cependant, peu de recherches prennent en compte la particularité de la catégorie « humain », qui peut être bien définie par le squelette de pose. De plus, le squelette de pose humaine permet une meilleure distinction des instances en cas d'occlusion importante par rapport à l'utilisation de boîtes englobantes. Dans cet article, nous présentons un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains, qui sépare les instances en fonction du squelette de pose plutôt que de la détection de régions proposées. Nous montrons que notre cadre basé sur la pose peut atteindre une meilleure précision que l'approche actuelle basée sur la détection pour le problème de segmentation d'instances humaines et peut également mieux gérer l'occlusion. De plus, il existe peu de jeux de données publics contenant de nombreux humains fortement occultés accompagnés d'annotations complètes, ce qui rend ce problème particulièrement difficile et rarement abordé par les chercheurs. Par conséquent, dans cet article, nous introduisons un nouveau benchmark appelé « Humain Occulté (OCHuman) », qui se concentre sur les humains occultés avec des annotations complètes incluant des boîtes englobantes, des poses humaines et des masques d'instances. Ce jeu de données contient 8110 instances humaines annotées en détail au sein de 4731 images. Avec une MaxIoU moyenne de 0,67 pour chaque personne, OCHuman est le jeu de données le plus complexe et difficile lié à la segmentation d'instances humaines. Grâce à ce jeu de données, nous souhaitons mettre en évidence l'occlusion comme un problème majeur pour les chercheurs à étudier.