Deep Automatic Natural Image Matting

Automatische Bild-Matting (AIM) bezeichnet die Schätzung des weichen Vordergrunds aus einem beliebigen natürlichen Bild ohne zusätzliche Eingabedaten wie eine Trimap, was für die Bildbearbeitung von großem Nutzen ist. Vorherige Methoden versuchten, semantische Merkmale zu lernen, um den Matting-Prozess zu unterstützen, sind jedoch auf Bilder mit auffälligen und undurchsichtigen Vordergründen wie Menschen oder Tieren beschränkt. In dieser Arbeit untersuchen wir die Schwierigkeiten, die sich ergeben, wenn diese Ansätze auf natürliche Bilder mit auffälligen transparenten/fein strukturierten Vordergründen oder nicht-auffälligen Vordergründen erweitert werden sollen. Um dieses Problem anzugehen, wird ein neuartiges end-to-end-Matting-Netzwerk vorgeschlagen, das für beliebige Bilder dieser Kategorien eine verallgemeinerte Trimap als einheitliche semantische Darstellung vorhersagen kann. Gleichzeitig leiten die gelernten semantischen Merkmale das Matting-Netzwerk über eine Aufmerksamkeitsmechanik darauf hin, sich auf die Übergangsgebiete zu konzentrieren. Außerdem wird eine Testdatenbank namens AIM-500 erstellt, die 500 vielfältige natürliche Bilder umfasst, die alle oben genannten Kategorien abdecken, sowie manuell annotierte Alpha-Matten, was eine fundierte Bewertung der Generalisierungsfähigkeit von AIM-Modellen ermöglicht. Die Ergebnisse der Experimente zeigen, dass unser Netzwerk, das auf verfügbaren Composite-Matting-Datensätzen trainiert wurde, sowohl objektiv als auch subjektiv gegenwärtige Methoden übertrifft. Der Quellcode und das Datenset sind unter https://github.com/JizhiziLi/AIM verfügbar.