nnFormer : Transformer entrelacé pour la segmentation volumétrique

Le modèle Transformer, choisi comme référence pour le traitement du langage naturel, a suscité très peu d’intérêt de la part de la communauté des imageries médicales. Étant donné leur capacité à exploiter des dépendances à long terme, les Transformers s’annoncent prometteurs pour aider les réseaux de neurones convolutifs atypiques à surmonter leurs lacunes inhérentes liées au biais spatial. Toutefois, la plupart des approches récentes de segmentation basées sur les Transformers traitent ces derniers comme des modules d’assistance visant simplement à intégrer un contexte global dans les représentations convolutives. Pour remédier à ce problème, nous proposons nnFormer, un Transformer 3D dédié à la segmentation d’images médicales volumétriques. nnFormer exploite non seulement une combinaison d’opérations imbriquées de convolution et d’attention auto, mais introduit également un mécanisme d’attention locale et globale basé sur le volume afin d’apprendre des représentations volumétriques. En outre, nnFormer propose d’utiliser une « attention par saut » (skip attention) pour remplacer les opérations traditionnelles de concaténation ou d’addition dans les connexions de saut (skip connections) des architectures du type U-Net. Les expériences montrent que nnFormer surpasse significativement ses prédécesseurs basés sur les Transformers, avec des écarts importants, sur trois jeux de données publics. Comparé à nnUNet, nnFormer obtient des résultats nettement meilleurs en termes de HD95 tout en offrant des résultats comparables en termes de DSC. Enfin, nous démontrons que nnFormer et nnUNet s’avèrent fortement complémentaires l’un de l’autre lors de l’ensemblage de modèles.