Trimap-gesteuertes Feature Mining- und Fusionssnetzwerk für die natürliche Bildmatting

Die Nutzung von Trimap-Guidance und die Fusion mehrstufiger Merkmale sind zwei zentrale Aspekte bei der Trimap-basierten Matting mit pixelgenauer Vorhersage. Um die Trimap-Guidance auszunutzen, verbinden die meisten bestehenden Ansätze Trimaps einfach mit Bildern und geben sie einem tiefen Netzwerk vor, oder setzen ein zusätzliches Netzwerk zur Extraktion stärkerer Trimap-Guidance ein, was einen Konflikt zwischen Effizienz und Effektivität verursacht. Bei der neu entstehenden merkmalsbasierten Fusion konzentrieren sich die meisten bestehenden Matting-Methoden lediglich auf lokale Merkmale, die aufgrund fehlender globaler Merkmale mit starker semantischer Information im Zusammenhang mit dem interessierenden Objekt eine unzureichende Leitfunktion aufweisen. In diesem Artikel präsentieren wir ein Trimap-gesteuertes Merkmalsmining- und -Fusionsnetzwerk, bestehend aus unserem Trimap-gesteuerten, nicht-hintergrundorientierten mehrstufigen Pooling-Modul (TMP) sowie unseren global-lokal kontextbewussten Fusion-Modulen (GLF). Angesichts der starken semantischen Leitfunktion durch die Trimap richtet unser TMP-Modul die effektive Merkmalsauswahl gezielt auf das interessierende Objekt aus, ohne zusätzliche Parameter einzuführen. Darüber hinaus nutzen unsere GLF-Module die durch das TMP-Modul extrahierten globalen semantischen Informationen des interessierenden Objekts, um eine effektive, global-lokal kontextbewusste Fusion mehrstufiger Merkmale zu ermöglichen. Zudem haben wir eine gemeinsame Datensammlung für interessierende Objekte (CIOM) erstellt, um die Entwicklung hochwertiger Bild-Matting-Verfahren voranzutreiben. Insbesondere zeigen die Ergebnisse auf der Composition-1k- und unserer CIOM-Datensammlung, dass unser TMFNet gegenüber einem starken Baseline eine relative Verbesserung von 13 % und 25 % bezüglich der SAD erreicht, wobei weniger Parameter und 14 % weniger FLOPs benötigt werden. Experimentelle Ergebnisse auf dem Composition-1k-Testset, dem Alphamatting-Benchmark und unserem CIOM-Testset belegen, dass unsere Methode die derzeit besten Ansätze übertrifft. Unsere Code- und Modellimplementierungen sind unter https://github.com/Serge-weihao/TMF-Matting verfügbar.