Matting de portrait guidé par des attaques adverses

Nous présentons une méthode de génération de masques alpha à partir d'une source de données limitée. Nous préentraînons un nouveau modèle basé sur les transformateurs (StyleMatte) sur des jeux de données de portraits. Ce modèle est utilisé pour fournir des paires image-masque au réseau basé sur StyleGAN3 (StyleMatteGAN). Ce dernier est entraîné de manière non supervisée et génère des paires d'entraînement image-masque auparavant inédites, qui sont ensuite réinjectées dans StyleMatte. Nous démontrons que la performance du réseau de récupération de masques s'améliore au cours de ce cycle itératif, atteignant des résultats optimaux sur les portraits humains et des performances de pointe sur le jeu de données animal. En outre, StyleMatteGAN produit des portraits à haute résolution avec des masques alpha, tout en préservant la vie privée, ce qui le rend adapté à diverses tâches de composition d'images. Notre code est disponible à l'adresse suivante : https://github.com/chroneus/stylematte