HyperAIHyperAI
vor 17 Tagen

Dual-Context-Aggregation für universelle Bild-Matting

Qinglin Liu, Xiaoqian Lv, Wei Yu, Changyong Guo, Shengping Zhang
Dual-Context-Aggregation für universelle Bild-Matting
Abstract

Die natürliche Bildmatting-Aufgabe zielt darauf ab, die Alpha-Matte des Vordergrunds aus einem gegebenen Bild zu schätzen. Verschiedene Ansätze wurden untersucht, um dieses Problem anzugehen, beispielsweise interaktive Matting-Methoden, die Anleitungen wie Klicks oder Trimaps nutzen, sowie automatische Matting-Methoden, die auf spezifische Objekte zugeschnitten sind. Allerdings sind bestehende Matting-Methoden auf bestimmte Objekte oder Anleitungen ausgelegt und vernachlässigen dabei die allgemeine Anforderung, globale und lokale Kontextinformationen effektiv zu integrieren. Dadurch treten diese Methoden häufig Schwierigkeiten bei der genauen Identifizierung des Vordergrunds und der präzisen Generierung von Grenzlinien auf, was ihre Wirksamkeit in unvorhergesehenen Szenarien einschränkt. In diesem Artikel stellen wir einen einfachen und universellen Matting-Framework vor, namens Dual-Context Aggregation Matting (DCAM), der robustes Bildmatting mit beliebiger Anleitung oder auch ohne Anleitung ermöglicht. Konkret nutzt DCAM zunächst ein semantisches Backbone-Netzwerk, um niedrigstufige Merkmale und Kontextmerkmale aus dem Eingabebild sowie der Anleitung zu extrahieren. Anschließend führen wir ein Dual-Context-Aggregation-Netzwerk ein, das globale Objekt-Aggregatoren und lokale Erscheinungs-Aggregatoren integriert, um die extrahierten Kontextmerkmale iterativ zu verfeinern. Durch die gleichzeitige Durchführung einer globalen Kontursegmentierung und einer lokalen Randverfeinerung zeigt DCAM eine hohe Robustheit gegenüber unterschiedlichen Arten von Anleitungen und Objekten. Schließlich verwenden wir ein Matting-Decoder-Netzwerk, um die niedrigstufigen Merkmale mit den verfeinerten Kontextmerkmalen zu fusionieren, um die Alpha-Matte zu schätzen. Experimentelle Ergebnisse auf fünf Matting-Datensätzen zeigen, dass das vorgeschlagene DCAM sowohl bei automatischen als auch bei interaktiven Matting-Aufgaben die derzeit besten Ansätze übertrifft, was die starke Universalität und hohe Leistungsfähigkeit von DCAM unterstreicht. Der Quellcode ist unter \url{https://github.com/Windaway/DCAM} verfügbar.