Command Palette
Search for a command to run...
Essai virtuel sans analyseur par distillation de flux d'apparence
Essai virtuel sans analyseur par distillation de flux d'apparence
Yuying Ge Yibing Song Ruimao Zhang Chongjian Ge Wei Liu Ping Luo
Résumé
La tentative virtuelle d’habillement vise à superposer une image de vêtement (vêtement cible) sur une image de personne. Les méthodes antérieures reposent fortement sur la segmentation humaine. Toutefois, des résultats de segmentation légèrement erronés entraînent des images de tentative virtuelle peu réalistes, marquées par de grands artefacts. Une segmentation inexacte induit les méthodes basées sur le parseur en erreur, conduisant à des résultats visuellement irréalistes où les artefacts apparaissent fréquemment. Un récent travail pionnier a employé la distillation de connaissances afin de réduire la dépendance vis-à-vis de la segmentation humaine : les images de tentative virtuelle produites par une méthode basée sur le parseur sont utilisées comme étiquettes de supervision pour entraîner un réseau « étudiant » n’ayant pas recours à la segmentation, permettant à celui-ci de mimétiser les capacités de tentative virtuelle du modèle basé sur le parseur. Toutefois, la qualité d’image de l’étudiant reste limitée par celle du modèle basé sur le parseur. Pour résoudre ce problème, nous proposons une nouvelle approche, la distillation de connaissances « enseignant-tuteur-étudiant », capable de produire des images hautement photographiques sans nécessiter de segmentation humaine, offrant plusieurs avantages remarquables par rapport aux travaux antérieurs. (1) Contrairement aux approches existantes, notre méthode considère les images fausses produites par la méthode basée sur le parseur comme une « connaissance de tuteur », dont les artefacts peuvent être corrigés grâce à une « connaissance d’enseignant » réelle, extraite des images réelles de personnes de manière auto-supervisée. (2) Au lieu d’utiliser uniquement des images réelles comme étiquettes de supervision, nous formulons la distillation de connaissances dans le cadre du problème de tentative virtuelle comme la distillation des flux d’apparence entre l’image de la personne et celle du vêtement, ce qui nous permet de trouver des correspondances denses précises entre les deux, garantissant ainsi des résultats de haute qualité. (3) Des évaluations étendues démontrent une supériorité marquée de notre méthode (voir Fig. 1).