SwapNet : Transfert de vêtements dans des images en vue unique

Nous présentons SwapNet, un cadre permettant de transférer des vêtements entre des images de personnes présentant des poses, formes corporelles et tenues vestimentaires arbitraires. Le transfert de vêtements constitue une tâche complexe exigeant (i) la séparation des caractéristiques du vêtement par rapport à la pose et à la forme du corps, et (ii) une synthèse réaliste de la texture du vêtement sur le nouveau corps. Nous proposons une architecture de réseau neuronal qui aborde ces sous-problèmes à l’aide de deux sous-réseaux spécifiques à chaque tâche. Étant donné la difficulté d’obtenir des paires d’images montrant le même vêtement porté par des corps différents, nous introduisons une approche faiblement supervisée novatrice qui génère des paires d’apprentissage à partir d’une seule image grâce à une augmentation de données. Nous présentons la première méthode entièrement automatique pour le transfert de vêtements dans des images non contraintes, sans avoir à résoudre le problème difficile de la reconstruction 3D. Nous démontrons une large variété de résultats de transfert et mettons en évidence nos avantages par rapport aux approches traditionnelles d’image à image et aux pipelines d’analogie.