ResViT : Transformateurs vision résiduels pour la synthèse d’images médicales multi-modales

Les modèles génératifs adversariaux reposant sur des architectures de réseaux de neurones convolutifs (CNN) se sont récemment imposés comme l’état de l’art dans de nombreuses tâches de synthèse d’images médicales. Toutefois, les CNN sont conçus pour effectuer un traitement local à l’aide de filtres compacts, ce qui introduit un biais inductif limitant l’apprentissage de caractéristiques contextuelles. Dans cet article, nous proposons une nouvelle approche générative adversariale pour la synthèse d’images médicales, appelée ResViT, qui exploite la sensibilité contextuelle des transformateurs visuels, combinée à la précision des opérateurs de convolution et à la réalisme du apprentissage adversarial. Le générateur de ResViT repose sur un goulot d’étranglement central composé de blocs innovants appelés blocs transformer résiduels agrégés (ART), qui combinent de manière synergique des modules résiduels de convolution et des modules transformateurs. Les connexions résiduelles présentes dans les blocs ART favorisent la diversité des représentations capturées, tandis qu’un module de compression de canaux permet de distiller les informations pertinentes pour la tâche. Une stratégie de partage de poids est introduite entre les blocs ART afin de réduire la charge computationnelle. Une implémentation unifiée est également proposée, évitant ainsi la nécessité de reconstruire des modèles distincts pour différentes configurations de modalités source-cible. Des démonstrations complètes sont menées pour la synthèse de séquences manquantes dans les imageries IRM multi-contraste, ainsi que pour la génération d’images CT à partir d’IRM. Nos résultats montrent une supériorité de ResViT par rapport aux méthodes basées sur CNN ou transformateurs existantes, tant sur le plan qualitatif que quantitatif.