HyperAIHyperAI

Command Palette

Search for a command to run...

Trimap-gesteuertes Feature Mining- und Fusionssnetzwerk für die natürliche Bildmatting

Weihao Jiang Dongdong Yu Zhaozhi Xie Yaoyi Li Zehuan Yuan Hongtao Lu

Zusammenfassung

Die Nutzung von Trimap-Guidance und die Fusion mehrstufiger Merkmale sind zwei zentrale Aspekte bei der Trimap-basierten Matting mit pixelgenauer Vorhersage. Um die Trimap-Guidance auszunutzen, verbinden die meisten bestehenden Ansätze Trimaps einfach mit Bildern und geben sie einem tiefen Netzwerk vor, oder setzen ein zusätzliches Netzwerk zur Extraktion stärkerer Trimap-Guidance ein, was einen Konflikt zwischen Effizienz und Effektivität verursacht. Bei der neu entstehenden merkmalsbasierten Fusion konzentrieren sich die meisten bestehenden Matting-Methoden lediglich auf lokale Merkmale, die aufgrund fehlender globaler Merkmale mit starker semantischer Information im Zusammenhang mit dem interessierenden Objekt eine unzureichende Leitfunktion aufweisen. In diesem Artikel präsentieren wir ein Trimap-gesteuertes Merkmalsmining- und -Fusionsnetzwerk, bestehend aus unserem Trimap-gesteuerten, nicht-hintergrundorientierten mehrstufigen Pooling-Modul (TMP) sowie unseren global-lokal kontextbewussten Fusion-Modulen (GLF). Angesichts der starken semantischen Leitfunktion durch die Trimap richtet unser TMP-Modul die effektive Merkmalsauswahl gezielt auf das interessierende Objekt aus, ohne zusätzliche Parameter einzuführen. Darüber hinaus nutzen unsere GLF-Module die durch das TMP-Modul extrahierten globalen semantischen Informationen des interessierenden Objekts, um eine effektive, global-lokal kontextbewusste Fusion mehrstufiger Merkmale zu ermöglichen. Zudem haben wir eine gemeinsame Datensammlung für interessierende Objekte (CIOM) erstellt, um die Entwicklung hochwertiger Bild-Matting-Verfahren voranzutreiben. Insbesondere zeigen die Ergebnisse auf der Composition-1k- und unserer CIOM-Datensammlung, dass unser TMFNet gegenüber einem starken Baseline eine relative Verbesserung von 13 % und 25 % bezüglich der SAD erreicht, wobei weniger Parameter und 14 % weniger FLOPs benötigt werden. Experimentelle Ergebnisse auf dem Composition-1k-Testset, dem Alphamatting-Benchmark und unserem CIOM-Testset belegen, dass unsere Methode die derzeit besten Ansätze übertrifft. Unsere Code- und Modellimplementierungen sind unter https://github.com/Serge-weihao/TMF-Matting verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp