Regroupement hiérarchique différentiable pour l'estimation de posture de plusieurs personnes

L’estimation de posture pour plusieurs personnes est un défi car elle consiste à localiser simultanément les points clés du corps pour plusieurs individus. Les méthodes précédentes peuvent être divisées en deux catégories : les approches « top-down » et les approches « bottom-up ». Les méthodes top-down localisent d’abord les personnes par détection, puis localisent les points clés pour chaque personne détectée. En revanche, les méthodes bottom-up localisent directement les points clés, puis regroupent ces derniers par personne, ce qui est généralement plus efficace que les approches top-down. Toutefois, dans les méthodes bottom-up existantes, le regroupement des points clés est habituellement traité indépendamment de la détection des points clés, ce qui empêche une entraînement end-to-end et conduit à des performances sous-optimales. Dans ce papier, nous proposons une nouvelle perspective sur le regroupement des parties du corps humain, que nous reformulons comme une tâche de clustering de graphes. Plus précisément, nous introduisons une nouvelle méthode différentiable, appelée Hierarchical Graph Grouping (HGG), pour apprendre le regroupement de graphes dans le cadre de l’estimation de posture bottom-up pour plusieurs personnes. De plus, HGG peut être facilement intégrée aux méthodes principales bottom-up. Elle prend les candidats de points clés humains comme nœuds de graphe et effectue le regroupement au sein d’un modèle de réseau neuronal à graphes multi-couches. Les modules de HGG peuvent être entraînés de manière end-to-end avec le réseau de détection des points clés, tout en supervisant le processus de regroupement de manière hiérarchique. Pour améliorer la discrimination du clustering, nous ajoutons un ensemble de discriminateurs d’arêtes et de discriminateurs de macro-nœuds. Des expériences étendues sur les jeux de données COCO et OCHuman démontrent que la méthode proposée améliore significativement les performances des méthodes bottom-up d’estimation de posture.