Les Performances Dépassent De Loin Celles Du Modèle De La Série SAM. L'Université De Zurich Et D'autres Ont Développé Un Modèle De Base Général De Segmentation Des Vaisseaux Sanguins En 3D, Qui a Été Sélectionné Pour CVPR 2025.

Si le corps humain est comparé à une immense ville, alors les vaisseaux sanguins sont sans aucun doute les « routes » de cette ville. Les artères, les veines et les capillaires correspondent aux autoroutes, aux routes urbaines et aux routes de campagne. Ils travaillent ensemble pour transporter les nutriments, l'oxygène, etc. vers différentes parties du corps par le sang, maintenant ainsi le fonctionnement efficace et stable de cette « ville ». Et lorsque des problèmes surviennent sur ces routes, le corps des gens tombe naturellement malade.

La segmentation des vaisseaux sanguins est un moyen important de vérifier s'il y a des problèmes avec ces « routes ». Tout comme la découverte de problèmes à travers des images de trafic dans la construction urbaine, il s’agit d’une tâche clé dans le traitement d’images médicales.La segmentation des vaisseaux sanguins permet d’identifier et d’extraire avec précision la structure des vaisseaux sanguins à partir d’images médicales.Il peut être appliqué à l’analyse, au diagnostic et au traitement de diverses maladies vasculaires. Par exemple, dans les maladies cardiovasculaires, la segmentation des artères coronaires aide les médecins à évaluer le degré de sténose des vaisseaux sanguins et ainsi à formuler des plans de traitement appropriés pour les patients.

Ces dernières années, la segmentation des vaisseaux sanguins a fait des progrès significatifs grâce à l’informatique et à la technologie d’imagerie médicale. Cependant, la segmentation précise et robuste de vaisseaux entièrement connectés reste un problème difficile face à l'imagerie spécifique à une tâche, en particulier dans la segmentation de vaisseaux 3D. D’une part, cela est dû aux limitations des vaisseaux sanguins eux-mêmes. Les formes géométriques complexes et minuscules des vaisseaux sanguins entraînent une augmentation soudaine de la difficulté de segmentation.D’autre part, il existe des lacunes de domaine importantes causées par les limites des méthodes et protocoles d’imagerie, des rapports signal/bruit spécifiques, des schémas vasculaires, des artefacts d’imagerie et des changements dans les tissus de fond.

Bien qu'il existe de nombreuses méthodes de segmentation d'images médicales basées sur des modèles de base, tels que SAM (Segment Anything Model) et SAM-Med3D et VISTA3D pour les images médicales 3D,Cependant, ces modèles présentent encore des limites dans la tâche de segmentation des vaisseaux.Par conséquent, la segmentation vasculaire 3D reste une tâche exigeante en main-d'œuvre pour le personnel médical et les chercheurs, nécessitant une annotation manuelle approfondie au niveau des voxels pour obtenir une analyse plus précise des images vasculaires.

Pour résoudre ce problème, une équipe de l'Université de Zurich, de l'ETH Zurich et de l'Université technique de Munich a proposé un modèle de base vesselFM conçu spécifiquement pour la segmentation vasculaire 3D. Le modèle est formé sur un ensemble de données à grande échelle (Dreal) et des données synthétiques générées via la randomisation de domaine (Ddrand) et un modèle génératif basé sur la correspondance de flux (Dflow).Il peut atteindre des capacités de segmentation et de généralisation supérieures aux modèles avancés existants dans des scénarios à zéro tir, à tir unique et à quelques tirs.

La recherche connexe a été publiée sous le titre « vesselFM : un modèle de base pour la segmentation universelle des vaisseaux sanguins en 3D » et a été sélectionnée pour CVPR 2025.

Points saillants de la recherche :

L'étude propose un modèle de base universel pour la segmentation vasculaire 3D avec des capacités de tir zéro et de généralisation, qui peut être utilisé « prêt à l'emploi » par les chercheurs et le personnel médical.

* L'équipe a organisé le plus grand ensemble de données de segmentation de vaisseaux 3D, comprenant des images de vaisseaux 3D réelles soigneusement traitées et des annotations correspondantes au niveau du voxel

* L'étude propose une stratégie de randomisation de voisinage à granularité fine pour la segmentation des vaisseaux 3D et introduit la correspondance de flux dans la génération d'images médicales 3D.

Adresse du document :
https://go.hyper.ai/lVad9

Ensemble de données : 3 sources de données hétérogènes

Les chercheurs ont utilisé trois sources de données hétérogènes pour l’entraîner.Le premier est un ensemble de données Dreal (Diverse Real Data) contenant différentes données réelles ; la deuxième est constituée de 2 sources de données synthétiques,Il s'agit de l'ensemble de données aléatoires de domaine Ddrand (Domain Randomization) et des données collectées à partir du modèle de génération basé sur la correspondance de flux Dflow (Flow Matching-Based).

dans,Dreal est le plus grand ensemble de données réelles utilisé à ce jour dans les tâches de segmentation des vaisseaux sanguins 3D.Une large gamme de modalités d'imagerie couvrant diverses régions anatomiques de différents organismes,Contient plus de 115 000 patchs 3D de 128³ formes provenant de 17 sources d'annotation.Plus précisément, son imagerie clinique étendue comprend l'ARM, l'ATDM, les rayons X, la microscopie à deux photons et la vEM, et les échantillons biologiques proviennent du cerveau, des reins et du foie d'humains et de souris expérimentales, qui fournissent des modèles vasculaires avec différentes propriétés structurelles et fonctionnelles pour la recherche. Comme le montre la figure ci-dessous.

Aperçu du jeu de données Dreal (23 statistiques de jeu de données, dont 4 jeux de données de validation)

Les chercheurs ont ensuite examiné les différents types de tissus, les méthodes d’imagerie et les protocoles.Dreal est en outre divisé en 23 ensembles de données.Chaque ensemble de données est prétraité et enfin des patchs avec une forme cible de 128³ sont extraits des images et de leurs étiquettes correspondantes.

Exemple de graphique de données

Les chercheurs ont introduit une stratégie de randomisation de domaine pour créer Ddrand, comme le montre la figure ci-dessous. Cette méthode génère un grand nombre de paires d'images-masques synthétiques diverses en appliquant une série de transformations spatiales et d'artefacts artificiels sur des données vasculaires réelles, améliorant ainsi la robustesse du modèle aux données réelles.Plus précisément, il peut être divisé en trois étapes, à savoir la génération de premier plan, la génération d'arrière-plan et la fusion d'arrière-plan.

La figure a est un schéma du pipeline de génération aléatoire de domaine utilisé pour générer Ddrand ; La figure b est un exemple de diagramme

Dans la phase de génération de prospects,Les chercheurs ont utilisé 1 137 patchs vasculaires v avec une forme de 250³ fournis par Wittmann et al. comme base pour le masque synthétique.Ces plaques vasculaires sont dérivées de représentations graphiques de moulages de corrosion avec une grande fidélité.

L’approche principale adoptée par les chercheurs consiste à générer une large gamme de modèles vasculaires réalistes grâce à des transformations spatiales telles que le recadrage aléatoire, le retournement, la dilatation et la mise à l’échelle, la déformation élastique aléatoire et le lissage binaire. Ensuite, les chercheurs ont simulé divers artefacts de premier plan présents dans les images vasculaires réelles en sélectionnant des transformations d'artefacts telles que le champ de polarisation, le bruit gaussien, le lissage gaussien, la perte, le décalage, le flou, etc.

Dans la phase de génération en arrière-plan,Les chercheurs ont modélisé des images d’arrière-plan contenant une variété de géométries d’arrière-plan avec différentes textures.Il existe trois variantes principales : Sphère (sphères non superposées), Polyèdre (l'image est divisée en plusieurs régions polyédriques à l'aide de Voronoi) et Image géométrique sans aucun arrière-plan.

Dans la phase de fusion en arrière-plan,Les chercheurs ont fusionné le premier plan avec l’arrière-plan par addition et soustraction de voxels ou en remplaçant les valeurs d’intensité d’arrière-plan par des valeurs d’intensité de masque.Pour étendre le domaine de l'image, les chercheurs ont continuellement amélioré l'image par un champ de biais aléatoire, ajouté du bruit gaussien, appliqué des pics locaux aléatoires dans l'espace k, ajusté aléatoirement le contraste de l'image, effectué un lissage gaussien sur des valeurs σ individuelles ou partagées de toutes les dimensions spatiales, ajouté du bruit de Rician et du bruit de Gibbs, effectué un affûtage gaussien aléatoire et transformé aléatoirement l'histogramme d'intensité, obtenant finalement l'image synthétique Xdrand (comme indiqué dans la figure b ci-dessus).

Afin d'enrichir davantage la distribution des données réelles Dreal, les chercheurs ont en outre formé et échantillonné un modèle de génération conditionnelle F basé sur Flow Matching pour générer une troisième source de données Dflow. Comme le montre la figure ci-dessous.

Diagramme de distribution de trois sources de données : Dreal (ombre bleue), Dflow (ombre rouge) et Ddrand (ombre grise)

Architecture du modèle : Présentation des modèles génératifs profonds et des stratégies de randomisation de domaine

Dans l'ensemble,vesselFM est un modèle de base général conçu spécifiquement pour la segmentation vasculaire 3D qui peut segmenter avec précision la vascularisation 3D dans une variété de modalités et de types de tissus.Au cours du processus de conception du modèle, les chercheurs l’ont formé à travers trois sources de données hétérogènes pour atteindre ses puissantes capacités de segmentation et de généralisation.

Présentation de la formation et de l'application VesselFM

Dans ce processus, les chercheurs ont introduit deux étapes clés :Il s'agit respectivement du modèle génératif profond et de la stratégie de randomisation de domaine.La section d’introduction de l’ensemble de données ci-dessus détaille la stratégie de randomisation du domaine. Cette section se concentre sur le modèle génératif profond utilisé pour générer l'ensemble de données Dflow.

Les modèles génératifs profonds sont un moyen important de générer des images médicales synthétiques, principalement basées sur le modèle de diffusion, qui est utilisé pour générer de grandes quantités de données synthétiques haute fidélité. Afin d'effectuer des tâches de segmentation sur ces données, une correspondance précise des paires image-masque est nécessaire. Des méthodes telles que Med-DDPM et SegGuidedDiff sont conçues pour relever ce défi.Ils intègrent le conditionnement sémantique en concaténant les masques de segmentation par canal dans l'entrée du modèle, ce qui donne des paires image-masque qui adhèrent à des contraintes anatomiques cohérentes.Le premier est conçu pour la synthèse d’imagerie cérébrale 3D, tandis que le second est conçu pour la génération d’IRM mammaire 2D et de tomodensitométrie abdominale.

Dans cette étude,Les chercheurs ont adopté une approche différente du modèle de diffusion et ont utilisé une approche de modélisation générative appelée Flow Matching.Il génère de nouveaux échantillons en apprenant le processus de transformation continue des données d'une distribution connue vers une distribution cible, ce qui montre des performances supérieures sur les images naturelles par rapport au modèle de diffusion.

Plus précisément, dans l'étude, le modèle génératif F utilise un réseau paramétré θ pour représenter un champ de vitesse v dépendant du temps appris, puis mappe l'échantillon x₀~N(0,I) à l'échantillon x₁ de la distribution de données via une équation différentielle ordinaire (EDO). Parallèlement, afin de former le modèle F, les chercheurs ont également optimisé l’objectif de correspondance de flux pour minimiser la perte d’échelle de temps entre la vitesse de prédiction et la vitesse de la valeur réelle d’échantillonnage.

De plus, le modèle d'apprentissage F adopte également des conditions de masque et de catégorie,Le conditionnement du masque est réalisé en concaténant les canaux du masque avec l'image d'entrée xₜ.Les chercheurs ont ajouté des intégrations de classe aux intégrations temporelles pour incorporer des informations de classe, qui ont ensuite été injectées dans la couche de fonctionnalités intermédiaires via l'ajout. Pour générer Dflow, les chercheurs ont finalement discrétisé x₁ via l'intégration d'Euler pour échantillonner un grand nombre d'images Xflow, comme le montre la figure ci-dessous.

La figure a montre le processus d’échantillonnage basé sur Flow Matching ; La figure b montre un exemple de diagramme

Résultats expérimentaux : les performances sont meilleures que celles du modèle actuel le plus avancé

Afin de vérifier la validité et la fiabilité de vesselFM,Les chercheurs ont mené une évaluation comparative.Et a démontré ses capacités de segmentation dans des scénarios à échantillon nul, à échantillon unique et à quelques échantillons.

Spécifiquement,Quatre ensembles de données cliniques ont été utilisés dans la phase de validation : SMILE-UHURA, MSD8, OCTA et BvEM.Nous extrayons trois patchs de forme 128³ de ces ensembles de données d'évaluation et les utilisons pour définir des tâches de segmentation à un ou plusieurs coups sur un ou les trois patchs afin d'affiner le modèle. Les données restantes sont utilisées à des fins de test et de validation. Pour l'évaluation zéro-shot, le modèle est directement appliqué aux données de test sans réglage fin préalable.

Parallèlement, 4 modèles de base conçus spécifiquement pour la segmentation 3D des vaisseaux sanguins ont été utilisés comme objets de comparaison.Il s'agit de : tUbeNet, VISTA3D, SAM-Med3D et MedSAM-2.

À l'aide d'un seul GPU NVIDIA RTX A6000, les chercheurs ont échantillonné 10 000 masques d'image du modèle F et généré Dflow en 3 jours. Pour gérer Ddrand, nous avons échantillonné 500 000 paires image-masque à partir du pipeline de génération de randomisation de domaine, chacune avec une forme de 128³. Les poids des trois sources de données utilisées sont définis approximativement en fonction de leurs tailles, à savoir Ddrand (70%), Dreal (20%) et Dflow (10%).

Les résultats spécifiques sont présentés dans la figure ci-dessous. vesselFM démontre une excellente généralisation et des performances supérieures sur les 4 ensembles de données et tâches.Dans la tâche zéro tir, sur l'ensemble de données MSD8, le score Dice de vesselFM est de 5,86 points supérieur à celui de VISTA3D (VISTA3D est formé sur 11 454 données CT, qui incluent elles-mêmes des données de MSD8), ce qui met encore plus en évidence le puissant biais inductif de vesselFM.

Résultats de comparaison sur 4 ensembles de validation

En revanche, le modèle général de segmentation vasculaire 3D tUbeNet ne fonctionne pas bien dans les modalités d'imagerie plus complexes, et les deux autres modèles généraux de segmentation SAM-Med3D et MedSAM-2 ne sont pas capables de segmenter les vaisseaux dans le cadre du zéro tir. Il convient de mentionner que sur l'ensemble de données SMILE-UHURA, les scores Dice et clDice de vesselFM dans les scénarios à zéro tir dépassent même ceux du modèle de base dans les scénarios à quelques tirs.Les résultats qualitatifs démontrent la capacité de généralisation supérieure de vesselFM dans des contextes de tir zéro sans souffrir de biais spécifiques à l'annotateur.Comme le montre la figure ci-dessous.

Résultats de visualisation sur certains ensembles de validation

L'apprentissage profond ouvre une nouvelle voie pour la recherche sur la segmentation des vaisseaux sanguins

En résumé, la recherche liée à vesselFM a sans aucun doute favorisé les progrès de la recherche sur la segmentation vasculaire 3D, ouvert une nouvelle voie pour le traitement et la recherche sur les maladies vasculaires, et devrait favoriser la naissance et l'application de nouveaux outils avancés, et finalement atteindre l'objectif de bénéficier aux patients.

Heureusement,vesselFM n’est pas seul dans cette démarche.Avec le développement de la technologie d’apprentissage profond et l’abondance croissante des données médicales, le traitement des images médicales par l’intelligence artificielle est devenu une direction importante de la réforme médicale moderne. De plus en plus de laboratoires et d’institutions de recherche se tournent vers ce domaine, espérant résoudre les défis des maladies vasculaires auxquelles l’humanité est confrontée grâce à leurs propres recherches.

Par exemple, une équipe de l’Académie chinoise des sciences a publié une étude intitulée « VesselSAM : tirer parti du SAM pour la segmentation des vaisseaux aortiques avec LoRA et Atrous Attention ». L’étude a proposé une version améliorée de SAM, nommée VesselSAM.Spécialement conçu pour la segmentation des vaisseaux aortiques.Le modèle intègre le module d'attention aux trous et l'adaptation de bas rang (LoRA).Les principales limitations de SAM sont abordées et sa capacité à capturer des caractéristiques hiérarchiques complexes dans les images médicales est améliorée.

Adresse du document :https://arxiv.org/abs/2502.18185

Une équipe de l'Université Jiao Tong de Shanghai en Chine, en collaboration avec des équipes du Shanghai First People's Hospital, de l'Université Queen's de Belfast et de l'Université d'État de Louisiane, a publié une étude intitulée « Segmentation auto-supervisée des vaisseaux via l'apprentissage contradictoire ».Cette étude propose de former deux générateurs par apprentissage contradictoire, l'un est un générateur guidé par l'attention et l'autre est un générateur de segmentation.Laissez-les synthétiser de faux vaisseaux sanguins et segmenter les vaisseaux sanguins à partir d'images d'angiographie coronaire, apprenant ainsi la représentation des caractéristiques des vaisseaux sanguins. Cet article a également été sélectionné pour le CVPR 2021.

Adresse du document :https://openaccess.thecvf.com/content/ICCV2021/papers/Ma_Self-Supervised_Vessel_Segmentation_via_Adversarial_Learning_ICCV_2021_paper.pdf

Une équipe de l’Université de Lisbonne au Portugal et une équipe de l’Université catholique du Portugal ont également publié des recherches sur la segmentation vasculaire.Ils ont proposé 3DVascNet, un logiciel de segmentation et de quantification automatique du réseau vasculaire rétinien 3D développé sur la base de l'apprentissage profond.Le logiciel permet non seulement une segmentation précise des vaisseaux sanguins, mais peut également quantifier les paramètres de mesure morphologique vasculaire tels que la densité des vaisseaux, la longueur des branches, le rayon des vaisseaux et la densité des points de ramification. Plus important encore, ce logiciel est gratuit.Dans le même temps, sa puissante capacité de généralisation favorise davantage la capacité du personnel médical à étudier les réseaux vasculaires tridimensionnels.La recherche connexe a été publiée sous le titre « 3DVascNet : un logiciel automatisé pour la segmentation et la quantification des réseaux vasculaires de souris en 3D ».

Adresse du document :https://www.ahajournals.org/doi/10.1161/ATVBAHA.124.320672

En résumé, en tant que tâche critique et difficile dans le traitement des images médicales, la segmentation des vaisseaux sanguins pose encore de nombreux problèmes à résoudre, mais les tentatives répétées des chercheurs nous ont sans aucun doute montré que ces problèmes s'effondrent. Ce qui est encore plus convaincant, c’est que dans un avenir proche, les maladies vasculaires seront peut-être progressivement vaincues à mesure que l’application de l’intelligence artificielle s’approfondira.