Réexamen de l'agrégation du contexte pour le masquage d'images

Les études traditionnelles mettent l'accent sur l'importance des informations contextuelles pour améliorer les performances du matting. En conséquence, les méthodes de matting basées sur l'apprentissage profond s'efforcent de concevoir des modules d'agrégation contextuelle fondés sur le pooling ou les affinités afin d'obtenir de meilleurs résultats. Toutefois, ces modules peinent à gérer efficacement le décalage d'échelle contextuelle provoqué par les différences de taille d'image entre l'entraînement et l'inférence, ce qui entraîne une dégradation des performances du matting. Dans cet article, nous réexaminons les mécanismes d'agrégation contextuelle des réseaux de matting et constatons qu’un réseau de base encodeur-décodeur, sans aucun module d'agrégation contextuelle, peut en réalité apprendre une agrégation contextuelle plus universelle, conduisant à des performances de matting supérieures à celles des méthodes existantes. Partant de cette observation, nous proposons AEMatter, un réseau de matting simple mais très efficace. AEMatter adopte un squelette Hybrid-Transformer doté de blocs d'apprentissage axisé amélioré par l'apparence (AEAL) afin de construire un réseau de base doté d'une forte capacité d'apprentissage de l'agrégation contextuelle. En outre, AEMatter exploite une stratégie d'entraînement sur des images de grande taille pour aider le réseau à apprendre l'agrégation contextuelle à partir des données. Des expériences étendues sur cinq jeux de données populaires de matting montrent que AEMatter surpasser largement les méthodes de pointe actuelles.