Réseau d'auto-attention progressivement normalisé pour la segmentation de polypes vidéo

Les modèles de segmentation de polypes vidéo (VPS) existants utilisent généralement des réseaux neuronaux convolutifs (CNN) pour extraire des caractéristiques. Cependant, en raison de leurs champs récepteurs limités, les CNN ne peuvent pas pleinement exploiter les informations temporelles et spatiales globales dans les images vidéo successives, ce qui entraîne des résultats de segmentation faux-positifs. Dans cet article, nous proposons le nouveau modèle PNS-Net (Progressively Normalized Self-attention Network), capable d'apprendre efficacement des représentations à partir de vidéos de polypes avec une vitesse en temps réel (~140 ips) sur une seule carte graphique RTX 2080 et sans traitement postérieur. Notre PNS-Net repose uniquement sur un bloc d'auto-attention normalisée de base, intégrant la récurrence et les CNN complètement. Les expériences menées sur des jeux de données VPS difficiles montrent que le PNS-Net proposé atteint des performances de pointe. Nous avons également réalisé des expériences approfondies pour étudier l'efficacité du découpage des canaux, de l'attention douce et de la stratégie d'apprentissage progressif. Nous constatons que notre PNS-Net fonctionne bien dans différents contextes, ce qui en fait une solution prometteuse pour la tâche VPS.