Réseau Transformer de tâche pour la reconstruction conjointe et la super-résolution en IRM

Le problème central de l'imagerie par résonance magnétique (IRM) réside dans le compromis entre accélération et qualité d'image. La reconstruction d'image et la super-résolution constituent deux techniques essentielles en imagerie par résonance magnétique. Les méthodes actuelles sont conçues pour traiter ces tâches séparément, négligeant ainsi les corrélations entre elles. Dans ce travail, nous proposons un réseau transformer tâche par tâche (T²Net) en boucle complète pour la reconstruction et la super-résolution conjointes en IRM, permettant ainsi le partage de représentations et de caractéristiques entre plusieurs tâches, afin d’obtenir des images de haute qualité, super-résolues et dépourvues d’artefacts de mouvement à partir de données IRM fortement sous-échantillonnées et dégradées. Notre cadre intégre à la fois la reconstruction et la super-résolution, divisés en deux sous-branches dont les caractéristiques sont exprimées sous forme de requêtes et de clés. Plus précisément, nous encourageons l’apprentissage conjoint des caractéristiques entre les deux tâches, permettant ainsi le transfert d’informations de tâche précises. Nous utilisons d’abord deux branches CNN distinctes pour extraire des caractéristiques spécifiques à chaque tâche. Ensuite, un module transformer tâche est conçu pour intégrer et synthétiser la corrélation entre les deux tâches. Les résultats expérimentaux montrent que notre modèle multi-tâches surpasse significativement les méthodes séquentielles avancées, tant du point de vue quantitatif que qualitatif.