SALI : Réseau d'Alignement à Court Terme et d'Interaction à Long Terme pour la Segmentation des Polypes dans les Vidéos de Coloscopie

Les vidéos de coloscopie fournissent des informations plus riches pour la segmentation des polypes dans le diagnostic du cancer rectal. Cependant, les mouvements rapides et l'observation en gros plan de l'endoscope entraînent une grande incohérence spatiale et des images continues de faible qualité, ce qui réduit la précision de la segmentation actuelle. Dans ce contexte, nous nous concentrons sur une segmentation vidéo de polypes robuste en améliorant la cohérence des caractéristiques adjacentes et en reconstruisant une représentation fiable des polypes. Pour atteindre cet objectif, nous proposons dans cet article le réseau SALI, un hybride du module d'alignement à court terme (SAM) et du module d'interaction à long terme (LIM). Le SAM apprend les caractéristiques spatialement alignées des images adjacentes grâce à la convolution déformable et harmonise davantage ces caractéristiques pour capturer une représentation de polype à court terme plus stable. En cas d'images de faible qualité, le LIM stocke les représentations historiques des polypes comme une banque mémoire à long terme, explore les relations rétrospectives et reconstruit de manière interactive des caractéristiques de polype plus fiables pour la segmentation actuelle. En combinant SAM et LIM, le réseau SALI pour la segmentation vidéo montre une grande robustesse face aux variations spatiales et aux indices visuels faibles. Les benchmarks réalisés sur l'ensemble de données SUNSEG confirment la supériorité du SALI par rapport aux méthodes actuelles en améliorant l'indice Dice respectivement de 2,1 %, 2,5 %, 4,1 % et 1,9 % pour les quatre sous-ensembles de test. Les codes sont disponibles à l'adresse suivante : https://github.com/Scatteredrain/SALI.