Modèle hybride MetaFormer et CNN pour la segmentation d'images de polypes

Les méthodes fondées sur les transformateurs sont devenues dominantes dans le domaine de la recherche sur les images médicales depuis les performances supérieures atteintes par le Vision Transformer. Bien que les approches basées sur les transformateurs aient résolu les problèmes liés à la dépendance à longue portée inhérents aux méthodes basées sur les réseaux de neurones convolutifs (CNN), elles peinent à capturer efficacement les informations détaillées locales. Les recherches récentes se concentrent sur une combinaison robuste entre les informations locales détaillées et les informations sémantiques. Pour répondre à ce défi, nous proposons un nouveau réseau hybride transformateur-CNN nommé RAPUNet. L'approche proposée utilise MetaFormer comme architecture fondamentale du transformateur et introduit un bloc convolutif personnalisé, appelé RAPU (Residual and Atrous Convolution in Parallel Unit), afin d’améliorer la représentation des caractéristiques locales et de réduire le problème de combinaison entre caractéristiques locales et globales. Nous évaluons la performance de segmentation de RAPUNet sur plusieurs jeux de données standardisés largement utilisés pour la segmentation des polypes, notamment Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB, EndoScene-CVC300 et ETIS-LaribPolypDB. Les résultats expérimentaux montrent que notre modèle atteint des performances compétitives en termes de Dice moyen et d’IoU moyen. En particulier, RAPUNet dépasse les méthodes de pointe sur le jeu de données CVC-ClinicDB. Code disponible : https://github.com/hyunnamlee/RAPUNet.