Matting Humain Sémantique

L'extraction de haute qualité des humains à partir d'images naturelles, connue sous le nom de "human matting", est essentielle pour une grande variété d'applications. Étant donné que le problème du matting est fortement sous-contraint, la plupart des méthodes précédentes nécessitent des interactions utilisateur pour utiliser des trimaps ou des griffonnages désignés par l'utilisateur comme contraintes. Cette nature impliquant l'utilisateur les rend difficiles à appliquer à une grande échelle ou dans des scénarios sensibles au temps. Dans cet article, nous proposons un algorithme de matting humain automatique (SHM) qui utilise des contraintes sémantiques implicites apprises à partir de données, plutôt que des contraintes explicites fournies par l'utilisateur. SHM est le premier algorithme capable d'apprendre conjointement à ajuster les informations sémantiques et les détails de haute qualité grâce aux réseaux profonds. En pratique, apprendre simultanément les sémantiques grossières et les détails fins est un défi majeur. Nous proposons donc une nouvelle stratégie de fusion qui fournit naturellement une estimation probabiliste du masque alpha (alpha matte). Nous avons également construit un ensemble de données très volumineux avec des annotations de haute qualité comprenant 35 513 premiers plans uniques pour faciliter l'apprentissage et l'évaluation du matting humain. De nombreuses expériences menées sur cet ensemble de données et sur de nombreuses images réelles montrent que SHM obtient des résultats comparables aux méthodes interactives les plus avancées (state-of-the-art).