Matting d’image sensible au contexte pour une estimation simultanée de la foreground et de l’alpha

Le matting d’images naturelles est un problème fondamental en vision par ordinateur et en informatique graphique. Il s’agit d’un problème mal posé lorsque seule une image d’entrée est disponible, sans information externe. Bien que les approches récentes basées sur l’apprentissage profond aient montré des résultats prometteurs, elles ne permettent généralement que l’estimation du masque alpha. Ce papier présente une méthode de matting d’images naturelles consciente du contexte, permettant l’estimation simultanée de la foreground et du masque alpha. Notre approche utilise deux réseaux encodeurs pour extraire des informations essentielles pour le matting : un encodeur dédié au matting, chargé d’apprendre des caractéristiques locales, et un encodeur contextuel, conçu pour capturer des informations contextuelles globales. Les sorties de ces deux encodeurs sont concaténées puis introduites dans des réseaux decodeurs afin d’estimer simultanément la foreground et le masque alpha. Pour entraîner ce réseau neuronal profond, nous utilisons à la fois une perte Laplacienne classique et une perte basée sur les caractéristiques : la première permet d’atteindre de hauts performances numériques, tandis que la seconde conduit à des résultats plus plausibles du point de vue perceptif. Nous présentons également plusieurs stratégies d’augmentation de données qui améliorent significativement la généralisation du réseau. Nos expériences qualitatives et quantitatives démontrent que notre méthode permet un matting de haute qualité à partir d’une seule image naturelle. Le code d’inférence et les modèles sont désormais accessibles au public via le dépôt GitHub suivant : https://github.com/hqqxyy/Context-Aware-Matting.