Réseau de miniaturisation et de fusion de caractéristiques guidé par Trimap pour le masquage d’images naturelles

L’utilisation de la guidance par trimap et la fusion de caractéristiques multi-niveaux constituent deux enjeux essentiels dans les méthodes de matting basées sur le trimap avec prédiction au niveau des pixels. Pour exploiter la guidance par trimap, la plupart des approches existantes concatènent simplement les trimaps et les images pour alimenter un réseau profond, ou bien introduisent un réseau additionnel afin d’extraire une guidance plus riche à partir du trimap, ce qui entraîne un conflit entre efficacité et efficacité. Quant à la fusion émergente de caractéristiques basée sur le contenu, la plupart des méthodes actuelles se concentrent uniquement sur les caractéristiques locales, manquant ainsi de la guidance apportée par des caractéristiques globales riches en information sémantique liée à l’objet d’intérêt. Dans cet article, nous proposons un réseau de fouille et de fusion de caractéristiques guidé par trimap, composé de notre module de pooling multi-échelle non-fond (TMP) guidé par trimap et de modules de fusion contextuels global-local (GLF). Étant donné que le trimap fournit une forte guidance sémantique, notre module TMP se concentre sur l’extraction efficace des caractéristiques relatives à l’objet d’intérêt, sous la direction du trimap, sans ajouter de paramètres supplémentaires. En outre, nos modules GLF exploitent l’information sémantique globale de l’objet d’intérêt, extraite par notre module TMP, afin de guider une fusion efficace de caractéristiques multi-niveaux à la fois globales et locales, consciente du contexte. En outre, nous avons construit un jeu de données de matting d’objets d’intérêt courants (CIOM) afin de promouvoir le développement du matting d’images de haute qualité. Les résultats obtenus sur Composition-1k et notre CIOM montrent que notre méthode TMFNet atteint une amélioration relative de 13 % et 25 % en termes de SAD, respectivement, par rapport à une base solide, tout en utilisant moins de paramètres et 14 % de FLOPs en moins. Les résultats expérimentaux sur l’ensemble de test Composition-1k, le benchmark Alphamatting et l’ensemble de test CIOM démontrent que notre approche surpasse les méthodes de pointe. Le code source et les modèles sont disponibles à l’adresse suivante : https://github.com/Serge-weihao/TMF-Matting.