HyperAIHyperAI

Command Palette

Search for a command to run...

Natürliche Bildmatting durch geleitete kontextuelle Aufmerksamkeit

Yaoyi Li; Hongtao Lu

Zusammenfassung

In den letzten Jahren haben tieflernende Ansätze erhebliche Fortschritte bei der natürlichen Bildmatting (natural image matting) erzielt. Viele dieser Methoden können visuell plausible Alphawerte generieren, führen jedoch oft zu unscharfen Strukturen oder Texturen in den halbdurchsichtigen Bereichen. Dies ist auf die lokale Unbestimmtheit von durchsichtigen Objekten zurückzuführen. Eine mögliche Lösung besteht darin, die weit umliegenden Informationen zur Schätzung der lokalen Transparenz zu nutzen. Traditionelle affinitätbasierte Methoden leiden häufig unter hoher rechnerischer Komplexität und sind daher nicht für hochaufgelöste Alphawertschätzungen geeignet. Inspiriert von affinitätbasierten Methoden und den Erfolgen des kontextuellen Aufmerksamkeitsmechanismus (contextual attention) im Inpainting, entwickeln wir einen neuen end-to-end Ansatz für das natürliche Bildmatting mit einem geleiteten kontextuellen Aufmerksamkeitsmodul, das speziell für das Bildmatting konzipiert wurde. Das geleitete kontextuelle Aufmerksamkeitsmodul verbreitet direkt globale Hoch-Level-Transparenzinformationen basierend auf dem gelernten Niedrig-Level-Affinitätswert. Die vorgeschlagene Methode kann sowohl den Informationsfluss affinitätbasierter Methoden nachahmen als auch gleichzeitig die reichhaltigen Merkmale nutzen, die von tiefen neuronalen Netzen gelernt wurden. Experimentelle Ergebnisse auf dem Composition-1k Testdatensatz und dem Benchmark-Datensatz von alphamatting.com zeigen, dass unsere Methode den aktuellen Stand der Technik in natürlicher Bildmatting übertrifft. Der Quellcode und die Modelle sind unter https://github.com/Yaoyi-Li/GCA-Matting verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Natürliche Bildmatting durch geleitete kontextuelle Aufmerksamkeit | Paper | HyperAI