Command Palette
Search for a command to run...
Natürliche Bildmatting durch geleitete kontextuelle Aufmerksamkeit
Natürliche Bildmatting durch geleitete kontextuelle Aufmerksamkeit
Yaoyi Li; Hongtao Lu
Zusammenfassung
In den letzten Jahren haben tieflernende Ansätze erhebliche Fortschritte bei der natürlichen Bildmatting (natural image matting) erzielt. Viele dieser Methoden können visuell plausible Alphawerte generieren, führen jedoch oft zu unscharfen Strukturen oder Texturen in den halbdurchsichtigen Bereichen. Dies ist auf die lokale Unbestimmtheit von durchsichtigen Objekten zurückzuführen. Eine mögliche Lösung besteht darin, die weit umliegenden Informationen zur Schätzung der lokalen Transparenz zu nutzen. Traditionelle affinitätbasierte Methoden leiden häufig unter hoher rechnerischer Komplexität und sind daher nicht für hochaufgelöste Alphawertschätzungen geeignet. Inspiriert von affinitätbasierten Methoden und den Erfolgen des kontextuellen Aufmerksamkeitsmechanismus (contextual attention) im Inpainting, entwickeln wir einen neuen end-to-end Ansatz für das natürliche Bildmatting mit einem geleiteten kontextuellen Aufmerksamkeitsmodul, das speziell für das Bildmatting konzipiert wurde. Das geleitete kontextuelle Aufmerksamkeitsmodul verbreitet direkt globale Hoch-Level-Transparenzinformationen basierend auf dem gelernten Niedrig-Level-Affinitätswert. Die vorgeschlagene Methode kann sowohl den Informationsfluss affinitätbasierter Methoden nachahmen als auch gleichzeitig die reichhaltigen Merkmale nutzen, die von tiefen neuronalen Netzen gelernt wurden. Experimentelle Ergebnisse auf dem Composition-1k Testdatensatz und dem Benchmark-Datensatz von alphamatting.com zeigen, dass unsere Methode den aktuellen Stand der Technik in natürlicher Bildmatting übertrifft. Der Quellcode und die Modelle sind unter https://github.com/Yaoyi-Li/GCA-Matting verfügbar.