Le rouge à lèvres ne suffit pas : Au-delà de l'adaptation des couleurs pour le transfert de maquillage en conditions réelles

Le transfert de maquillage est la tâche qui consiste à appliquer le style de maquillage d'une image de référence sur un visage source. Les maquillages réels sont divers et audacieux, englobant non seulement des changements de couleur mais aussi des motifs tels que des autocollants, des rouges à joues et des bijoux. Cependant, les travaux existants ont négligé ces derniers éléments et limité le transfert de maquillage à la manipulation des couleurs, se concentrant uniquement sur les styles de maquillage légers. Dans ce travail, nous proposons un cadre holistique de transfert de maquillage capable de gérer tous les composants mentionnés. Il comprend une branche améliorée pour le transfert de couleur et une nouvelle branche pour le transfert de motifs afin d'apprendre toutes les propriétés du maquillage, y compris la couleur, la forme, la texture et l'emplacement. Pour entraîner et évaluer un tel système, nous introduisons également de nouveaux ensembles de données de maquillage extrême, tant réel que synthétique. Les résultats expérimentaux montrent que notre cadre atteint des performances d'état de l'art tant pour les styles de maquillage légers que pour ceux extrêmes. Le code est disponible à l'adresse suivante : https://github.com/VinAIResearch/CPM.