Regard sur la Personne : Apprentissage Auto-supervisé Sensible à la Structure et un Nouveau Jalon pour l'Analyse Humaine

L'analyse des humains a récemment suscité un grand intérêt de la part de la communauté scientifique en raison de ses énormes potentiels d'application. Cependant, les jeux de données existants présentent un nombre limité d'images et d'annotations, et manquent de diversité dans les apparences humaines ainsi que de couverture des cas difficiles dans des environnements non contrôlés. Dans cet article, nous présentons un nouveau benchmark « Look into Person (LIP) » qui représente une avancée significative en termes de scalabilité, de diversité et de difficulté, une contribution que nous jugeons cruciale pour les développements futurs dans l'analyse centrée sur l'humain. Ce jeu de données complet contient plus de 50 000 images soigneusement annotées avec 19 étiquettes sémantiques de parties du corps, capturées à partir d'une gamme plus large de points de vue, d'occlusions et de complexités d'arrière-plan. Grâce à ces annotations riches, nous effectuons une analyse détaillée des principales approches d'analyse des humains, ce qui nous permet d'acquérir des connaissances sur leurs réussites et leurs échecs. De plus, contrairement aux efforts existants visant à améliorer la capacité discriminante des caractéristiques, nous résolvons le problème d'analyse des humains en explorant une nouvelle approche d'apprentissage auto-supervisé sensible à la structure, qui intègre les structures posturales humaines dans les résultats d'analyse sans recourir à une supervision supplémentaire (c'est-à-dire sans nécessiter l'étiquetage spécifique des articulations humaines lors de l'entraînement du modèle). Notre cadre d'apprentissage auto-supervisé peut être intégré à n'importe quel réseau neuronal avancé pour aider à incorporer une connaissance riche et hautement structurée concernant les articulations humaines sous un angle global et améliorer les résultats d'analyse. Des évaluations exhaustives sur notre jeu de données LIP et sur le jeu de données public PASCAL-Person-Part démontrent la supériorité de notre méthode.