PoSeg : Réseau de raffinement conscient de la pose pour la segmentation d'instances humaines

La segmentation d'instances humaines est un problème central pour la compréhension des scènes centrées sur l'humain. La segmentation des instances humaines pose un défi particulier aux systèmes de vision en raison des grandes variations intra-classe tant au niveau de l'apparence que de la forme, ainsi que des motifs d'occlusion complexes. Dans cet article, nous proposons une nouvelle méthode de segmentation d'instances humaines sensible à la posture. Contrairement aux méthodes précédentes sensibles à la posture, qui prédise d'abord les postures de manière bottom-up, puis estiment la segmentation d'instances sur la base de ces prédictions, notre méthode intègre à la fois des indices top-down et bottom-up pour chaque instance : elle utilise les résultats de détection comme propositions humaines, puis estime conjointement la posture humaine et la segmentation d'instance pour chaque proposition. Nous avons conçu un réseau profond modulaire et récurrent qui exploite l'estimation de posture pour affiner itérativement la segmentation d'instance. Nos modules de raffinement exploitent les indices de posture à deux niveaux : comme priori de forme grossière et comme attention locale sur les parties du corps. Nous évaluons notre approche sur deux benchmarks publics multi-personnes : le jeu de données OCHuman et le jeu de données COCOPersons. La méthode proposée dépasse les méthodes de l'état de l'art sur le jeu de données OCHuman de 3,0 mAP et sur COCOPersons de 6,4 mAP, démontrant ainsi l'efficacité de notre approche.