Attention Convolutionnelle Multimodale à Plusieurs Têtes avec Des Tailles de Noyau Variables pour la Résolution d’Images Médicales

Les images médicales à super-résolution peuvent aider les médecins à fournir des diagnostics plus précis. Dans de nombreuses situations, les techniques de tomographie par ordinateur (TO) ou d'imagerie par résonance magnétique (IRM) acquièrent plusieurs images (modes) lors d'une même investigation, pouvant être combinées de manière multimodale afin d'améliorer encore la qualité des résultats en super-résolution. À cette fin, nous proposons un nouveau module d'attention convolutive à plusieurs têtes pour la super-résolution multimodale des images TO et IRM. Notre module d'attention utilise l'opération de convolution pour appliquer une attention conjointe sur l'espace et les canaux à plusieurs tenseurs d'entrée concaténés, où la taille du noyau (champ réceptif) contrôle le taux de réduction de l'attention spatiale, tandis que le nombre de filtres convolutifs contrôle le taux de réduction de l'attention sur les canaux. Nous introduisons plusieurs têtes d'attention, chacune ayant une taille de champ réceptif distincte, correspondant à un taux de réduction spécifique pour l'attention spatiale. Nous intégrons notre module d'attention convolutive multimodale à plusieurs têtes (MMHCA) dans deux architectures profondes de réseaux neuronaux pour la super-résolution, et menons des expérimentations sur trois jeux de données. Nos résultats expérimentaux démontrent l'avantage de notre module d'attention par rapport aux mécanismes d'attention de pointe utilisés actuellement en super-résolution. En outre, nous réalisons une étude d'ablation pour évaluer l'impact des composants impliqués dans notre module d'attention, tels que le nombre d'entrées ou le nombre de têtes. Notre code est disponible gratuitement à l'adresse suivante : https://github.com/lilygeorgescu/MHCA.