Réseau de Double Attention pour la Segmentation de Scène

Dans cet article, nous abordons la tâche de segmentation de scène en capturant des dépendances contextuelles riches basées sur le mécanisme d'auto-attention. Contrairement aux travaux précédents qui capturaient les contextes par la fusion de caractéristiques à plusieurs échelles, nous proposons un réseau à double attention (Dual Attention Networks, DANet) pour intégrer de manière adaptative les caractéristiques locales avec leurs dépendances globales. Plus précisément, nous ajoutons deux types de modules d'attention au-dessus d'un FCN dilaté traditionnel, qui modélisent respectivement les interdépendances sémantiques dans les dimensions spatiales et canaliques. Le module d'attention positionnelle agrège sélectivement les caractéristiques à chaque position par une somme pondérée des caractéristiques de toutes les positions. Les caractéristiques similaires seraient liées entre elles indépendamment de leurs distances. Parallèlement, le module d'attention canalique met l'accent sélectivement sur les cartes de canaux interdépendantes en intégrant les caractéristiques associées parmi toutes les cartes de canaux. Nous additionnons les sorties des deux modules d'attention pour améliorer davantage la représentation des caractéristiques, ce qui contribue à des résultats de segmentation plus précis. Nous obtenons une nouvelle performance record en segmentation sur trois jeux de données difficiles en segmentation de scène, à savoir Cityscapes, PASCAL Context et COCO Stuff dataset. En particulier, un score moyen IoU (Mean IoU) de 81,5 % est atteint sur l'ensemble de test Cityscapes sans utiliser de données grossières. Nous rendons le code et le modèle entraîné publiquement disponibles sur https://github.com/junfu1115/DANet.