Faltungsneuronale Netze mit Zwischenverlust für die 3D-Superauflösung von CT- und MRT-Aufnahmen

Heute übliche Computertomographen (CT) in Krankenhäusern liefern Bilder mit geringer Auflösung, maximal 512 Pixel pro Achse. Ein Pixel im Bild entspricht einem Gewebestück von einem Millimeter. Um Tumore präzise zu segmentieren und Behandlungspläne zu erstellen, benötigen Ärzte CT-Aufnahmen mit höherer Auflösung. Ein ähnliches Problem tritt auch bei Magnetresonanztomographie (MRI) auf. In diesem Artikel stellen wir einen Ansatz für die Einzelbild-Super-Resolution von 3D-CT- oder MRI-Aufnahmen vor. Unser Verfahren basiert auf tiefen konvolutionellen neuronalen Netzwerken (CNNs), die aus zehn konvolutionellen Schichten und einer Zwischenupscaling-Schicht bestehen, die nach den ersten sechs konvolutionellen Schichten angeordnet ist. Das erste CNN erhöht die Auflösung in zwei Achsen (Breite und Höhe), gefolgt von einem zweiten CNN, das die Auflösung in der dritten Achse (Tiefe) erhöht. Im Gegensatz zu anderen Methoden berechnen wir die Verlustfunktion nicht nur am Ende der letzten konvolutionellen Schicht, sondern zusätzlich unmittelbar nach der Upscaling-Schicht bezogen auf das hochauflösende Referenzbild (ground-truth). Diese Zwischenverlustfunktion zwingt das Netzwerk, eine genauere Ausgabe zu generieren, die dem Referenzbild näherkommt. Eine gängige Methode zur Erzielung scharfer Ergebnisse besteht darin, eine Gauß-Blur-Filterung mit einer festen Standardabweichung anzuwenden. Um Überanpassung an eine feste Standardabweichung zu vermeiden, wenden wir stattdessen Gauß-Glättung mit variierenden Standardabweichungen an, im Gegensatz zu anderen Ansätzen. Wir evaluieren unsere Methode im Kontext der 2D- und 3D-Super-Resolution von CT- und MRI-Aufnahmen aus zwei Datensätzen und vergleichen sie mit relevanten Arbeiten aus der Literatur sowie mit Baseline-Methoden basierend auf verschiedenen Interpolationsverfahren, jeweils mit Skalierungsfaktoren von 2x und 4x. Die empirischen Ergebnisse zeigen, dass unser Ansatz gegenüber allen anderen Methoden überlegen ist. Zudem ergab unsere Studie mit menschlicher Annotation, dass sowohl Ärzte als auch reguläre Beurteiler unsere Methode im Vergleich zur Lanczos-Interpolation in 97,55 % der Fälle bei einem Skalierungsfaktor von 2x und in 96,69 % der Fälle bei 4x bevorzugten.