Apprentissage complémentaire inter-domaines utilisant la posture pour la segmentation de parties multiples de personnes

L'apprentissage profond supervisé avec des étiquettes d'entraînement au niveau du pixel a connu de grands succès dans le domaine de la segmentation de parties multiples de personnes. Cependant, l'étiquetage des données au niveau du pixel est très coûteux. Pour résoudre ce problème, des recherches ont été menées pour utiliser des données synthétiques afin d'éviter l'étiquetage manuel. Bien que la génération d'étiquettes pour les données synthétiques soit facile, les résultats obtenus sont beaucoup moins bons que ceux issus de données réelles et d'étiquetages manuels. La dégradation des performances est principalement due à l'écart de domaine, c'est-à-dire la différence entre les statistiques des valeurs de pixels des données réelles et synthétiques.Dans cet article, nous observons que les humains réels et synthétiques possèdent tous deux une représentation squelettique (posture). Nous avons constaté que ces squelettes peuvent efficacement combler l'écart entre les domaines synthétique et réel pendant l'entraînement. Notre approche proposée tire parti des variations riches et réalistes des données réelles ainsi que de l'accessibilité facile aux étiquettes des données synthétiques pour apprendre la segmentation de parties multiples de personnes sur des images réelles sans aucune étiquette manuelle.Par le biais d'expériences, nous montrons que sans aucun étiquetage humain, notre méthode offre des performances comparables à celles de plusieurs approches de pointe qui nécessitent un étiquetage humain sur les ensembles de données Pascal-Person-Parts et COCO-DensePose. D'autre part, si des étiquettes de parties sont également disponibles dans les images réelles lors de l'entraînement, notre méthode surpasserait largement les méthodes supervisées actuelles.Nous démontrons également la généralité de notre méthode en prédiction de nouveaux points clés dans des images réelles où aucune donnée réelle n'est disponible pour la détection de ces nouveaux points clés. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/kevinlin311tw/CDCL-human-part-segmentation