Attention croisée double pour la segmentation d’images médicales

Nous proposons Dual Cross-Attention (DCA), un module d’attention simple mais efficace, capable d’améliorer les connexions de saut (skip-connections) dans les architectures U-Net dédiées au segmentage d’images médicales. Le module DCA réduit l’écart sémantique entre les caractéristiques extraites par l’encodeur et celles du décodeur en capturant séquentiellement les dépendances channel et spatiales à travers des caractéristiques multi-échelles issues de l’encodeur. Tout d’abord, le module Channel Cross-Attention (CCA) extrait les dépendances globales entre canaux en exploitant l’attention croisée entre les tokens canaux des caractéristiques multi-échelles de l’encodeur. Ensuite, le module Spatial Cross-Attention (SCA) applique une attention croisée pour capturer les dépendances spatiales entre les tokens spatiaux. Enfin, ces caractéristiques d’encodeur à haute granularité sont up-samplées et connectées à leurs parties correspondantes du décodeur, formant ainsi un schéma de connexion de saut amélioré. Le module DCA proposé peut être intégré à tout architecture encodeur-décodeur utilisant des connexions de saut, telles que U-Net et ses variantes. Nous avons évalué notre module DCA en l’intégrant à six architectures basées sur U-Net : U-Net, V-Net, R2Unet, ResUnet++, DoubleUnet et MultiResUnet. Les résultats montrent des améliorations du score Dice allant jusqu’à 2,05 % sur le jeu de données GlaS, 2,74 % sur MoNuSeg, 1,37 % sur CVC-ClinicDB, 1,12 % sur Kvasir-Seg et 1,44 % sur Synapse. Le code source est disponible à l’adresse suivante : https://github.com/gorkemcanates/Dual-Cross-Attention