HyperAIHyperAI

Command Palette

Search for a command to run...

ResViT : Transformateurs vision résiduels pour la synthèse d’images médicales multi-modales

Onat Dalmaz Mahmut Yurt Tolga Çukur

Résumé

Les modèles génératifs adversariaux reposant sur des architectures de réseaux de neurones convolutifs (CNN) se sont récemment imposés comme l’état de l’art dans de nombreuses tâches de synthèse d’images médicales. Toutefois, les CNN sont conçus pour effectuer un traitement local à l’aide de filtres compacts, ce qui introduit un biais inductif limitant l’apprentissage de caractéristiques contextuelles. Dans cet article, nous proposons une nouvelle approche générative adversariale pour la synthèse d’images médicales, appelée ResViT, qui exploite la sensibilité contextuelle des transformateurs visuels, combinée à la précision des opérateurs de convolution et à la réalisme du apprentissage adversarial. Le générateur de ResViT repose sur un goulot d’étranglement central composé de blocs innovants appelés blocs transformer résiduels agrégés (ART), qui combinent de manière synergique des modules résiduels de convolution et des modules transformateurs. Les connexions résiduelles présentes dans les blocs ART favorisent la diversité des représentations capturées, tandis qu’un module de compression de canaux permet de distiller les informations pertinentes pour la tâche. Une stratégie de partage de poids est introduite entre les blocs ART afin de réduire la charge computationnelle. Une implémentation unifiée est également proposée, évitant ainsi la nécessité de reconstruire des modèles distincts pour différentes configurations de modalités source-cible. Des démonstrations complètes sont menées pour la synthèse de séquences manquantes dans les imageries IRM multi-contraste, ainsi que pour la génération d’images CT à partir d’IRM. Nos résultats montrent une supériorité de ResViT par rapport aux méthodes basées sur CNN ou transformateurs existantes, tant sur le plan qualitatif que quantitatif.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ResViT : Transformateurs vision résiduels pour la synthèse d’images médicales multi-modales | Articles | HyperAI