Semantische Mensch-Matting

Die hochwertige Extraktion von Menschen aus natürlichen Bildern, auch als Human Matting bekannt, ist für eine Vielzahl von Anwendungen entscheidend. Da das Matting-Problem stark unterbestimmt ist, benötigen die meisten bisherigen Methoden Benutzerinteraktionen, um benutzerdefinierte Trimapps oder Skizzen als Einschränkungen zu verwenden. Diese Benutzerbeteiligung erschwert ihre Anwendung auf große Datenmengen oder zeitkritische Szenarien. In dieser Arbeit verwenden wir anstelle expliziter Benutzereingaben implizite semantische Einschränkungen, die aus Daten gelernt werden, und schlagen einen automatischen Human-Matting-Algorithmus (SHM) vor. SHM ist der erste Algorithmus, der lernt, sowohl semantische Informationen als auch hochwertige Details mit tiefen neuronalen Netzen gemeinsam abzubilden. Die gleichzeitige Lernung von groben Semantiken und feinen Details stellt jedoch eine Herausforderung dar. Wir schlagen daher eine neuartige Fusionsstrategie vor, die eine wahrscheinlichkeitsschätzung des Alpha-Matte ermöglicht. Zudem haben wir einen sehr großen Datensatz mit hochwertigen Annotationen erstellt, der 35.513 einzigartige Vordergründe enthält, um das Lernen und die Bewertung des Human Matting zu erleichtern. Ausführliche Experimente mit diesem Datensatz und zahlreichen realen Bildern zeigen, dass SHM vergleichbare Ergebnisse wie die besten interaktiven Matting-Methoden erzielt.