Réseau de contexte adaptatif pour l'analyse de scène

Les travaux récents tentent d'améliorer les performances de la segmentation d'images en explorant différents niveaux de contexte, en entraînant généralement un réseau convolutif soigneusement conçu pour exploiter efficacement le contexte utile de manière uniforme à travers tous les pixels. Toutefois, dans cet article, nous observons que les besoins en contexte varient selon les pixels ou les régions spécifiques au sein d'une même image. À partir de cette observation, nous proposons un Réseau à Contexte Adaptatif (ACNet), capable de capturer des contextes sensibles aux pixels grâce à une fusion compétitive entre le contexte global et le contexte local, en fonction des besoins spécifiques à chaque pixel. Plus précisément, pour un pixel donné, la demande en contexte global est mesurée par la similarité entre sa caractéristique globale et sa caractéristique locale, tandis que l'inverse de cette mesure permet d'évaluer la demande en contexte local. Nous modélisons ces deux mesures de demande à l'aide d'un module de contexte global et d'un module de contexte local, respectivement, afin de générer des caractéristiques contextuelles adaptatives. En outre, nous intégrons plusieurs tels modules pour construire plusieurs blocs à contexte adaptatif à différents niveaux du réseau, permettant ainsi une reconstruction progressive du résultat, de l’approche grossière à la fine. Enfin, des évaluations expérimentales approfondies démontrent l'efficacité du ACNet proposé, et des performances nouvelles et optimales sont atteintes sur les quatre jeux de données publics, à savoir Cityscapes, ADE20K, PASCAL Context et COCO Stuff.