TransFuse: Fusions von Transformers und CNNs für die medizinische Bildsegmentierung

Die Segmentierung medizinischer Bilder – eine Voraussetzung für zahlreiche klinische Anwendungen – hat durch jüngste Fortschritte in der Entwicklung von Faltungsneuralen Netzen (Convolutional Neural Networks, CNNs) erheblich an Entwicklung erfahren. Dennoch weist sie generelle Einschränkungen hinsichtlich der Modellierung expliziter langreichweiter Beziehungen auf. Die bisherigen Ansätze, die tiefgehende Encoder mit starken Downsampling-Operationen kombinieren, führen zu redundant vergrößerten Netzwerken und zum Verlust feinkörniger räumlicher Details. Daher besteht ein dringender Bedarf nach einer besseren Lösung, die die Effizienz der Modellierung globaler Kontexte verbessert, gleichzeitig aber auch eine präzise Erfassung von niedrigstufigen Details gewährleistet. In diesem Artikel stellen wir eine neuartige parallele Architektur mit verzweigten Pfaden, TransFuse, vor, um diese Herausforderung zu bewältigen. TransFuse kombiniert Transformer und CNNs in einer parallelen Struktur, wodurch sowohl globale Abhängigkeiten als auch räumliche Details auf einer viel flacheren Netzwerkarchitektur effizient erfasst werden können. Zudem wird ein neuartiges Fusionstechnik – das BiFusion-Modul – eingeführt, um die mehrstufigen Merkmale beider Zweige effizient zu fusionieren. Umfangreiche Experimente zeigen, dass TransFuse sowohl auf 2D- als auch auf 3D-medizinischen Bilddatensätzen – einschließlich der Segmentierung von Polypen, Hautläsionen, Hüftgelenken und Prostata – die derzeit neuesten State-of-the-Art-Ergebnisse erzielt, wobei gleichzeitig ein signifikanter Rückgang der Parameteranzahl und eine deutliche Verbesserung der Inferenzgeschwindigkeit erreicht werden.