Adversarially-Guided Portrait Matting

Wir präsentieren eine Methode zur Generierung von Alpha-Matten unter Verwendung einer begrenzten Datenquelle. Wir prätrainieren ein neuartiges, auf Transformers basierendes Modell (StyleMatte) an Porträt-Datensätzen. Dieses Modell liefert Bild-Maske-Paare für ein auf StyleGAN3 basierendes Netzwerk (StyleMatteGAN). Dieses Netzwerk wird unsupervisiert trainiert und generiert bisher unbekannte Bild-Maske-Trainingspaare, die erneut an StyleMatte zurückgegeben werden. Wir zeigen, dass sich die Leistung des Matte-Pulling-Netzwerks während dieses Zyklus verbessert und sowohl auf Datensätzen mit menschlichen Porträts als auch auf dem Tier-Datensatz state-of-the-art Ergebnisse erzielt. Darüber hinaus liefert StyleMatteGAN hochauflösende, datenschutzfreundliche Porträts mit Alpha-Matten, was es für vielfältige Aufgaben der Bildzusammenstellung geeignet macht. Unser Code ist unter https://github.com/chroneus/stylematte verfügbar.