Apprentissage de représentations locales délicates pour l'estimation de posture multi-personnes

Dans cet article, nous proposons une nouvelle méthode appelée Residual Steps Network (RSN). RSN agrège efficacement les caractéristiques de même taille spatiale (caractéristiques intra-niveau) afin d’obtenir des représentations locales fines, qui préservent une information spatiale de bas niveau riche et conduisent à une localisation précise des points clés. En outre, nous observons que les caractéristiques de sortie contribuent de manière inégale à la performance finale. Pour résoudre ce problème, nous proposons un mécanisme d’attention efficace, nommé Pose Refine Machine (PRM), qui établit un compromis entre les représentations locales et globales présentes dans les caractéristiques de sortie, et affine davantage la localisation des points clés. Notre approche a remporté la première place du COCO Keypoint Challenge 2019 et atteint des résultats de pointe sur les benchmarks COCO et MPII, sans recourir à des données d’entraînement supplémentaires ni à un modèle pré-entraîné. Notre modèle unique obtient un score de 78,6 sur le jeu de test-dev de COCO et 93,0 sur le jeu de test de MPII. Les modèles ensemblistes atteignent quant à eux 79,2 sur le test-dev de COCO et 77,1 sur le test-challenge de COCO. Le code source est disponible publiquement pour des recherches ultérieures à l’adresse suivante : https://github.com/caiyuanhao1998/RSN/