HyperAIHyperAI

Command Palette

Search for a command to run...

ScribFormer: Transformer verbessert die Leistung von CNN für die schriftbasierte medizinische Bildsegmentierung

Zihan Li Yuan Zheng Dandan Shan Shuzhou Yang Qingde Li Beizhan Wang Yuanting Zhang Qingqi Hong Dinggang Shen

Zusammenfassung

Die meisten aktuellen Methoden zur skizzenbasierten Segmentierung verwenden üblicherweise einen CNN-Framework mit einer Encoder-Decoder-Architektur. Trotz ihrer vielfältigen Vorteile kann dieses Framework im Allgemeinen nur lokale Merkmalsabhängigkeiten erfassen, da die Faltungsschichten über einen lokalen Empfindlichkeitsfeld (local receptive field) verfügen, was die Erfassung globaler Forminformationen aus der begrenzten Information, die durch Skizzenannotationen bereitgestellt wird, erschwert. Um dieses Problem anzugehen, schlägt dieser Artikel eine neue hybride CNN-Transformer-Lösung für die skizzenbasierte medizinische Bildsegmentierung namens ScribFormer vor. Das vorgeschlagene ScribFormer-Modell verfügt über eine dreigeteilte Architektur, bestehend aus einer CNN-Branch, einer Transformer-Branch und einer auf Aufmerksamkeit gestützten Klassen-Aktivierungs-Karten-Branch (ACAM). Insbesondere kooperieren die CNN-Branch und die Transformer-Branch, um die lokalen Merkmale, die aus der CNN gelernt wurden, mit den globalen Darstellungen, die aus dem Transformer stammen, zu fusionieren, wodurch die Beschränkungen bestehender skizzenbasiert überwachter Segmentierungsmethoden effektiv überwunden werden können. Zudem unterstützt die ACAM-Branch die Vereinheitlichung der flachen und tiefen Faltungsmerkmale, um die Leistung des Modells weiter zu verbessern. Umfangreiche Experimente auf zwei öffentlichen Datensätzen und einem privaten Datensatz zeigen, dass unser ScribFormer die Leistung der aktuellen State-of-the-Art-Methoden zur skizzenbasierten Segmentierung übertrifft und sogar Ergebnisse erzielt, die denen vollständig überwachter Segmentierungsverfahren überlegen sind. Der Quellcode ist unter https://github.com/HUANGLIZI/ScribFormer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp