ScribFormer : Transformer améliore les performances des CNN pour la segmentation d’images médicales basée sur des traits manuels

La plupart des méthodes récentes de segmentation supervisée par traits de crayon adoptent généralement un cadre basé sur les réseaux de neurones convolutifs (CNN) avec une architecture encodeur-decodeur. Malgré ses nombreux avantages, ce cadre est généralement limité à capturer des dépendances de caractéristiques à courte portée, en raison du champ réceptif local des couches convolutives, ce qui rend difficile l'apprentissage d'informations globales sur la forme à partir des informations restreintes fournies par les annotations par traits de crayon. Pour remédier à ce problème, cette étude propose une nouvelle solution hybride CNN-Transformer pour la segmentation d'images médicales supervisée par traits de crayon, nommée ScribFormer. Le modèle ScribFormer proposé présente une architecture à trois branches : une branche CNN, une branche Transformer et une branche de carte d'activation de classe guidée par l'attention (ACAM). Plus précisément, la branche CNN collabore avec la branche Transformer afin de fusionner les caractéristiques locales apprises par le CNN avec les représentations globales extraites par le Transformer, permettant ainsi de surmonter efficacement les limitations des méthodes existantes de segmentation supervisée par traits de crayon. En outre, la branche ACAM contribue à unifier les caractéristiques convolutives de faible profondeur et celles de grande profondeur, améliorant ainsi davantage les performances du modèle. Des expériences étendues menées sur deux jeux de données publics et un jeu de données privé montrent que ScribFormer atteint des performances supérieures par rapport aux méthodes de segmentation supervisée par traits de crayon les plus avancées, et même surpassant certaines méthodes de segmentation entièrement supervisées. Le code source est disponible à l’adresse suivante : https://github.com/HUANGLIZI/ScribFormer.