ScribFormer: Transformer verbessert die Leistung von CNN für die schriftbasierte medizinische Bildsegmentierung

Die meisten aktuellen Methoden zur skizzenbasierten Segmentierung verwenden üblicherweise einen CNN-Framework mit einer Encoder-Decoder-Architektur. Trotz ihrer vielfältigen Vorteile kann dieses Framework im Allgemeinen nur lokale Merkmalsabhängigkeiten erfassen, da die Faltungsschichten über einen lokalen Empfindlichkeitsfeld (local receptive field) verfügen, was die Erfassung globaler Forminformationen aus der begrenzten Information, die durch Skizzenannotationen bereitgestellt wird, erschwert. Um dieses Problem anzugehen, schlägt dieser Artikel eine neue hybride CNN-Transformer-Lösung für die skizzenbasierte medizinische Bildsegmentierung namens ScribFormer vor. Das vorgeschlagene ScribFormer-Modell verfügt über eine dreigeteilte Architektur, bestehend aus einer CNN-Branch, einer Transformer-Branch und einer auf Aufmerksamkeit gestützten Klassen-Aktivierungs-Karten-Branch (ACAM). Insbesondere kooperieren die CNN-Branch und die Transformer-Branch, um die lokalen Merkmale, die aus der CNN gelernt wurden, mit den globalen Darstellungen, die aus dem Transformer stammen, zu fusionieren, wodurch die Beschränkungen bestehender skizzenbasiert überwachter Segmentierungsmethoden effektiv überwunden werden können. Zudem unterstützt die ACAM-Branch die Vereinheitlichung der flachen und tiefen Faltungsmerkmale, um die Leistung des Modells weiter zu verbessern. Umfangreiche Experimente auf zwei öffentlichen Datensätzen und einem privaten Datensatz zeigen, dass unser ScribFormer die Leistung der aktuellen State-of-the-Art-Methoden zur skizzenbasierten Segmentierung übertrifft und sogar Ergebnisse erzielt, die denen vollständig überwachter Segmentierungsverfahren überlegen sind. Der Quellcode ist unter https://github.com/HUANGLIZI/ScribFormer verfügbar.