Analyse faiblement et semi-supervisée des parties du corps humain par transfert de connaissances guidé par la posture

L'analyse des parties du corps humain, également connue sous le nom de segmentation sémantique des parties humaines, est fondamentale pour de nombreuses tâches en vision par ordinateur. Dans les méthodes traditionnelles de segmentation sémantique, les segmentations véritables sont fournies, et des réseaux neuronaux entièrement convolutifs (FCN) sont entraînés selon un schéma bout-à-bout. Bien que ces méthodes aient démontré des résultats impressionnants, leurs performances dépendent fortement de la quantité et de la qualité des données d'entraînement. Dans cet article, nous présentons une nouvelle méthode pour générer des données synthétiques de segmentation des parties du corps humain à partir d'annotations de points clés humains facilement obtenables. Notre idée principale consiste à exploiter la similarité anatomique entre les êtres humains pour transférer les résultats d'analyse d'une personne à une autre ayant une posture similaire. En utilisant ces résultats estimés comme données d'entraînement supplémentaires, notre modèle semi-supervisé surpass son homologue fortement supervisé de 6 points en termes de mIOU sur l'ensemble de données PASCAL-Person-Part, et nous obtenons des résultats d'analyse humaine à l'état de l'art. Notre approche est générale et peut être facilement étendue à d'autres tâches de segmentation d'objets ou d'animaux, à condition que leur similarité anatomique puisse être annotée par des points clés. Le modèle proposé ainsi que le code source associé sont disponibles sur https://github.com/MVIG-SJTU/WSHP.