Un mécanisme basé sur l’attention pour combiner images et métadonnées dans des modèles d’apprentissage profond appliqués à la classification du cancer de la peau

Les systèmes informatisés de classification du mélanome basés sur des réseaux neuronaux profonds produisent généralement des prédictions à partir uniquement d’images de lésions cutanées. Bien qu’ils aient montré des résultats prometteurs, il est possible d’obtenir des performances supérieures en intégrant des données démographiques des patients, qui constituent des indices importants que les experts humains prennent en compte lors du dépistage des lésions cutanées. Dans cet article, nous abordons le problème de la combinaison d’images et de caractéristiques métadonnées à l’aide de modèles d’apprentissage profond appliqués à la classification du mélanome. Nous proposons une nouvelle architecture appelée Metadata Processing Block (MetaBlock), un algorithme qui utilise les métadonnées pour renforcer les caractéristiques les plus pertinentes extraites des images tout au long du processus de classification. Nous avons comparé notre méthode à deux autres approches de fusion : MetaNet et une méthode basée sur la concaténation des caractéristiques. Les résultats obtenus sur deux jeux de données distincts de lésions cutanées montrent que notre approche améliore la classification pour tous les modèles testés, et se révèle supérieure aux autres méthodes de fusion dans 6 cas sur 10.