LiwTERM : un modèle léger basé sur Transformer pour la détection multimodale des lésions dermatologiques

Le cancer de la peau est le type de cancer le plus fréquent dans le monde, représentant environ 30 % de tous les tumeurs diagnostiquées. Un diagnostic précoce permet de réduire les taux de mortalité et de prévenir les séquelles défigurantes dans différentes régions du corps. Ces dernières années, les techniques d’apprentissage automatique, en particulier l’apprentissage profond, ont montré des résultats prometteurs dans ce domaine, avec des études démontrant que la combinaison des informations cliniques du patient et des images de la lésion est essentielle pour améliorer la classification des lésions cutanées. Toutefois, une utilisation significative des données cliniques conjointement à plusieurs images reste indispensable, ce qui nécessite des recherches supplémentaires. Ce projet vise donc à contribuer au développement de modèles fondés sur l’apprentissage multimodal, basés sur l’intelligence artificielle, afin de répondre à la tâche de classification des lésions cutanées à l’aide d’un modèle de transformer léger. En hypothèse principale, les modèles peuvent intégrer plusieurs images provenant de sources diverses, ainsi que des données cliniques issues de l’histoire médicale du patient, conduisant à un diagnostic plus fiable. Notre modèle aborde la tâche non négligeable de combiner images et informations cliniques (issues des anamnèses) relatives aux lésions cutanées au sein d’une architecture de transformer légère, qui ne nécessite pas de ressources informatiques élevées tout en offrant des résultats de classification compétitifs.