Medical Slice Transformer : Amélioration du diagnostic et de l'explicabilité sur les images médicales 3D avec DINOv2

L'IRM et la TDM sont des techniques d'imagerie clinique transaxiale essentielles pour le diagnostic de conditions complexes. Cependant, les grands ensembles de données 3D avec annotations pour l'apprentissage profond sont rares. Bien que des méthodes comme DINOv2 soient prometteuses pour l'analyse d'images 2D, ces méthodes n'ont pas encore été appliquées aux images médicales 3D. De plus, les modèles d'apprentissage profond manquent souvent de transparence en raison de leur nature de "boîte noire". Cette étude vise à étendre les modèles auto-supervisés 2D, en particulier DINOv2, à l'imagerie médicale 3D tout en évaluant leur potentiel pour des résultats explicables. Nous présentons le cadre du Medical Slice Transformer (MST) pour adapter les modèles auto-supervisés 2D à l'analyse d'images médicales 3D. MST combine une architecture Transformer avec un extracteur de caractéristiques 2D, c'est-à-dire DINOv2. Nous évaluons ses performances diagnostiques par rapport à un réseau neuronal convolutif 3D (3D ResNet) sur trois ensembles de données cliniques : IRM mammaire (651 patients), TDM thoracique (722 patients) et IRM du genou (1199 patients). Les deux méthodes ont été testées pour le diagnostic du cancer du sein, la prédiction de la dignité des nodules pulmonaires et la détection des déchirures du ménisque. Les performances diagnostiques ont été évaluées en calculant la Surface Sous la Courbe Caractéristique Opératoire du Récepteur (AUC). La transparence a été évaluée par une comparaison qualitative des cartes de salience basée sur la précision des tranches et des lésions par un radiologue. Les valeurs de p ont été calculées à l'aide du test de DeLong. MST a obtenu des valeurs AUC supérieures à celles de ResNet sur les trois ensembles de données : sein (0,94 ± 0,01 contre 0,91 ± 0,02, p = 0,02), thorax (0,95 ± 0,01 contre 0,92 ± 0,02, p = 0,13) et genou (0,85 ± 0,04 contre 0,69 ± 0,05, p = 0,001). Les cartes de salience étaient systématiquement plus précises et anatomiquement correctes pour MST que pour ResNet. Les modèles auto-supervisés 2D tels que DINOv2 peuvent être efficacement adaptés à l'imagerie médicale 3D grâce au MST, offrant une précision diagnostique accrue et une meilleure transparence par rapport aux réseaux neuronaux convolutifs.