HyperAIHyperAI

Command Palette

Search for a command to run...

Hintergrund-Matting: Die Welt ist Ihr grüner Bildschirm

Soumyadip Sengupta Vivek Jayaram Brian Curless Steve Seitz Ira Kemelmacher-Shlizerman

Zusammenfassung

Wir stellen eine Methode zur Erzeugung eines Matte – also der pro-Pixel-Vordergrundfarbe und des Alphakanals – einer Person vor, die durch Aufnahmen mit einer handgehaltenen Kamera in einer alltäglichen Umgebung ermöglicht wird. Die meisten bestehenden Matting-Verfahren erfordern einen grünen Hintergrund oder eine manuell erstellte Trimap, um ein qualitativ hochwertiges Matte zu erzeugen. Obwohl automatisierte, trimapfreie Ansätze zunehmend erscheinen, erreichen diese bisher nicht die Qualität der etablierten Methoden. In unserem trimapfreien Ansatz bitten wir den Benutzer, zusätzlich ein Foto des Hintergrunds ohne das Subjekt zum Zeitpunkt der Aufnahme zu machen. Dieser Schritt erfordert lediglich eine geringe Vorplanung, ist jedoch deutlich weniger zeitaufwendig als die manuelle Erstellung einer Trimap. Wir trainieren ein tiefes Netzwerk mit einem adversariellen Verlust, um das Matte vorherzusagen. Zunächst trainieren wir ein Matting-Netzwerk mit einem überwachten Verlust anhand von Ground-Truth-Daten, die aus synthetischen Compositen bestehen. Um die Domänenlücke zwischen synthetischer und realer Bildgebung ohne Etikettierung zu schließen, trainieren wir ein zweites Matting-Netzwerk, das durch das erste Netzwerk und einen Diskriminator geleitet wird, welcher die Qualität der Compositen bewertet. Wir demonstrieren Ergebnisse an einer Vielzahl von Fotos und Videos und zeigen eine signifikante Verbesserung gegenüber dem Stand der Technik.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp