Liens entre réseaux de neurones convolutifs et réseaux de neurones convolutifs sur graphes : application à la séparation de l’artère pulmonaire et de la veine pulmonaire

Les réseaux de convolution graphique (GCN) constituent une méthode innovante et puissante pour traiter les données non euclidiennes, tandis que les réseaux de neurones convolutifs (CNN) sont particulièrement efficaces pour extraire des caractéristiques à partir de données euclidiennes telles que les images. Dans ce travail, nous proposons une nouvelle méthode combinant CNN et GCN (CNN-GCN), capable de prendre en compte à la fois les caractéristiques euclidiennes et non euclidiennes, et pouvant être entraînée de manière end-to-end. Cette approche a été appliquée à la séparation des arbres vasculaires pulmonaires en artères et veines (A/V). Les scanners thoraciques ont été prétraités par segmentation des vaisseaux et squelettisation, permettant ainsi de construire un graphe : les voxels situés sur les squelettes forment l'ensemble des sommets, tandis que leurs connexions sont représentées par une matrice d'adjacence. Des patches 3D centrés sur chaque sommet ont été extraits à partir des scans CT, orientés perpendiculairement à l’axe du vaisseau. Le classificateur CNN-GCN proposé a été entraîné et appliqué sur les graphes vasculaires construits, chaque nœud étant ensuite étiqueté comme artère ou veine. La méthode a été entraînée et validée sur des données provenant d’un hôpital (11 patients, 22 poumons), puis testée sur des données indépendantes issues d’un autre hôpital (10 patients, 10 poumons). Une méthode CNN de référence et les performances d’un observateur humain ont été utilisées comme points de comparaison. Le modèle CNN-GCN a atteint une précision médiane de 0,773 (0,738) sur les jeux de validation (test), contre une précision médiane de 0,817 pour les observateurs humains, et 0,727 (0,693) pour la CNN de référence. En conclusion, la méthode CNN-GCN proposée combine efficacement l’information locale provenant des images avec l’information de connectivité du graphe, améliorant ainsi la séparation artères-veines pulmonaires par rapport à une CNN de base, tout en s’approchant des performances des observateurs humains.