ScribbleVC : Segmentations d’images médicales supervisées par des traits avec intégration de représentations vision-class

La segmentation d’images médicales joue un rôle crucial dans la prise de décision clinique, la planification des traitements et le suivi des maladies. Toutefois, une segmentation précise des images médicales reste difficile en raison de plusieurs facteurs, tels que le manque d’annotations de haute qualité, le bruit d’imagerie et les variations anatomiques entre les patients. En outre, un écart significatif persiste encore en termes de performance entre les méthodes actuelles efficaces en termes d’étiquetage et les méthodes entièrement supervisées. Pour relever ces défis, nous proposons ScribbleVC, un cadre novateur pour la segmentation d’images médicales supervisée par des traits (scribbles), qui exploite les embeddings visuels et de classe grâce à un mécanisme d’amélioration des informations multimodales. De plus, ScribbleVC utilise de manière uniforme les caractéristiques extraites par les réseaux de neurones convolutifs (CNN) et les caractéristiques des Transformers afin d’obtenir une extraction de caractéristiques visuelles améliorée. La méthode proposée combine une approche basée sur les traits avec un réseau de segmentation et un module d’embedding de classe pour produire des masques de segmentation précis. Nous évaluons ScribbleVC sur trois jeux de données de référence et la comparons aux méthodes de pointe. Les résultats expérimentaux démontrent que notre approche surpasse les méthodes existantes en termes de précision, de robustesse et d’efficacité. Les jeux de données et le code source sont publiés sur GitHub.