Task Transformer Network für die gemeinsame MR-Bildrekonstruktion und Super-Resolution

Das zentrale Problem der Magnetresonanztomographie (MRT) liegt in der Abwägung zwischen Beschleunigung und Bildqualität. Die Bildrekonstruktion und die Super-Resolution sind zwei entscheidende Techniken in der MRT. Derzeitige Ansätze sind darauf ausgelegt, diese Aufgaben getrennt zu bearbeiten und ignorieren dabei die Wechselwirkungen zwischen ihnen. In dieser Arbeit präsentieren wir ein end-to-end-Aufgaben-Transformer-Netzwerk (T²Net) für die gemeinsame MRT-Rekonstruktion und Super-Resolution, das den Austausch von Darstellungen und Merkmalen zwischen mehreren Aufgaben ermöglicht, um hochwertige, superaufgelöste und bewegungsartefaktfreie Bilder aus stark unterprobenen und degradierten MRT-Daten zu erzeugen. Unser Framework kombiniert sowohl die Rekonstruktion als auch die Super-Resolution in zwei Teilzweigen, deren Merkmale als Anfragen (Queries) und Schlüssel (Keys) dargestellt werden. Insbesondere fördern wir eine gemeinsame Merkmalslernung zwischen den beiden Aufgaben, wodurch präzise Aufgabeninformationen übertragen werden können. Zunächst extrahieren wir mit zwei getrennten CNN-Zweigen aufgabenbezogene Merkmale. Anschließend wird ein Aufgaben-Transformer-Modul entworfen, um die Relevanz zwischen den beiden Aufgaben zu kodieren und zu synthetisieren. Experimentelle Ergebnisse zeigen, dass unser Multi-Task-Modell sowohl quantitativ als auch qualitativ signifikant gegenübers den fortschrittlichen sequentiellen Methoden abschneidet.