Attention axiale canalisée pour la segmentation sémantique — Prise en compte des relations entre canaux dans l'attention spatiale pour la segmentation sémantique

Les attentions spatiale et canal, qui modélisent respectivement les interdépendances sémantiques dans les dimensions spatiale et canal, sont récemment devenues largement utilisées pour la segmentation sémantique. Toutefois, le calcul séparé des attentions spatiale et canal peut parfois entraîner des erreurs, en particulier dans les cas difficiles. Dans cet article, nous proposons une nouvelle méthode appelée Channelized Axial Attention (CAA), permettant d’intégrer de manière fluide l’attention canal et l’attention spatiale en une seule opération, avec un surcoût de calcul négligeable. Plus précisément, nous décomposons l’opération de produit scalaire de l’attention spatiale en deux parties et insérons une relation canal entre elles, ce qui permet d’optimiser indépendamment l’attention canal à chaque emplacement spatial. Nous avons également développé une vectorisation regroupée, qui permet à notre modèle de fonctionner avec une consommation de mémoire très faible, sans ralentir la vitesse d’exécution. Des expériences comparatives menées sur plusieurs jeux de données standard, notamment Cityscapes, PASCAL Context et COCO-Stuff, montrent que notre CAA surpasser de nombreuses méthodes d’état de l’art en segmentation (y compris les modèles à double attention) sur l’ensemble des jeux de données testés.