Kontextbewusste Bild-Matting für die gleichzeitige Schätzung von Vordergrund und Alpha

Natürliche Bildmatting ist ein zentrales Problem in der Computer Vision und Grafik. Es handelt sich um ein schlecht gestelltes Problem, wenn lediglich ein Eingabebild ohne zusätzliche externe Informationen zur Verfügung steht. Obwohl neuere Ansätze auf Basis tiefer neuronalen Netze vielversprechende Ergebnisse erzielt haben, schätzen sie lediglich die Alpha-Matte ab. In dieser Arbeit präsentieren wir eine kontextbewusste Methode für die natürliche Bildmatting, die gleichzeitig Vordergrund und Alpha-Matte schätzt. Unser Ansatz nutzt zwei Encoder-Netzwerke, um wesentliche Informationen für die Matting-Aufgabe zu extrahieren. Insbesondere verwenden wir einen Matting-Encoder zur Erfassung lokaler Merkmale und einen Context-Encoder zur Gewinnung globaler Kontextinformationen. Die Ausgaben beider Encoder werden zusammengefügt und an Decoder-Netzwerke weitergeleitet, um Vordergrund und Alpha-Matte gleichzeitig zu schätzen. Zur Trainingsphase des gesamten tiefen neuronalen Netzes setzen wir sowohl die klassische Laplace-Verlustfunktion als auch eine Merkmalsverlustfunktion ein: Letztere trägt dazu bei, perceptuell plausiblere Ergebnisse zu erzielen, während ersterer eine hohe numerische Genauigkeit gewährleistet. Zudem berichten wir über mehrere Strategien zur Datenverstärkung, die die Generalisierungsfähigkeit des Netzwerks erheblich verbessern. Unsere qualitativen und quantitativen Experimente zeigen, dass unsere Methode eine hochwertige Matting-Resultate für einzelne natürliche Bilder ermöglicht. Die inferenzbasierten Codes und Modelle sind öffentlich unter https://github.com/hqqxyy/Context-Aware-Matting verfügbar.