Hintergrund-Matting: Die Welt ist Ihr grüner Bildschirm

Wir stellen eine Methode zur Erzeugung eines Matte – also der pro-Pixel-Vordergrundfarbe und des Alphakanals – einer Person vor, die durch Aufnahmen mit einer handgehaltenen Kamera in einer alltäglichen Umgebung ermöglicht wird. Die meisten bestehenden Matting-Verfahren erfordern einen grünen Hintergrund oder eine manuell erstellte Trimap, um ein qualitativ hochwertiges Matte zu erzeugen. Obwohl automatisierte, trimapfreie Ansätze zunehmend erscheinen, erreichen diese bisher nicht die Qualität der etablierten Methoden. In unserem trimapfreien Ansatz bitten wir den Benutzer, zusätzlich ein Foto des Hintergrunds ohne das Subjekt zum Zeitpunkt der Aufnahme zu machen. Dieser Schritt erfordert lediglich eine geringe Vorplanung, ist jedoch deutlich weniger zeitaufwendig als die manuelle Erstellung einer Trimap. Wir trainieren ein tiefes Netzwerk mit einem adversariellen Verlust, um das Matte vorherzusagen. Zunächst trainieren wir ein Matting-Netzwerk mit einem überwachten Verlust anhand von Ground-Truth-Daten, die aus synthetischen Compositen bestehen. Um die Domänenlücke zwischen synthetischer und realer Bildgebung ohne Etikettierung zu schließen, trainieren wir ein zweites Matting-Netzwerk, das durch das erste Netzwerk und einen Diskriminator geleitet wird, welcher die Qualität der Compositen bewertet. Wir demonstrieren Ergebnisse an einer Vielzahl von Fotos und Videos und zeigen eine signifikante Verbesserung gegenüber dem Stand der Technik.