Un modèle de fusion multimodale basé sur le deep learning pour le diagnostic des lésions cutanées à partir d’images cliniques collectées par smartphone et de métadonnées

Introduction : Le cancer de la peau est l’un des types de cancer les plus fréquents. Un outil accessible au grand public pourrait faciliter le dépistage des lésions malignes. Nous avons pour objectif de développer un modèle d’apprentissage profond capable de classifier les lésions cutanées à partir d’images cliniques et d’informations métadonnées collectées via des smartphones.Méthodes : Un réseau neuronal profond a été conçu avec deux encodeurs permettant d’extraire des informations à partir des données d’images et des métadonnées. Un module de fusion multimodale intégrant une attention auto-épistémique intra-modale et une attention croisée inter-modale a été proposé afin de combiner efficacement les caractéristiques d’image et les caractéristiques métadonnées. Le modèle a été entraîné et évalué sur un jeu de données public, puis comparé à d’autres méthodes de pointe à l’aide d’une validation croisée à cinq plis.Résultats : L’incorporation des métadonnées s’est avérée significativement bénéfique pour la performance du modèle. Notre modèle a surpassé les autres méthodes de fusion de métadonnées en termes d’exactitude, d’exactitude équilibrée et d’aire sous la courbe ROC, atteignant respectivement des valeurs moyennes de 0,768 ± 0,022, 0,775 ± 0,022 et 0,947 ± 0,007.Conclusion : Un modèle d’apprentissage profond utilisant des images et des métadonnées collectées via smartphone pour le diagnostic des lésions cutanées a été développé avec succès. Le modèle proposé a démontré des performances prometteuses et pourrait devenir un outil potentiel pour le dépistage du cancer de la peau.