U-Mamba: Verbesserung der Langstrecken-Abhängigkeiten für die Segmentierung medizinischer Bilder

Convolutional Neural Networks (CNNs) und Transformers sind die am häufigsten verwendeten Architekturen für die Segmentierung biomedizinischer Bilder, weisen jedoch aufgrund ihrer inhärenten Lokalität oder der hohen Rechenkomplexität begrenzte Fähigkeiten zur Behandlung langstreckiger Abhängigkeiten auf. Um diese Herausforderung zu bewältigen, stellen wir U-Mamba vor – ein allgemein einsetzbares Netzwerk für die Segmentierung biomedizinischer Bilder. Inspiriert von State Space Sequence Models (SSMs), einer neuartigen Klasse tiefer Sequenzmodelle, die sich durch ihre starke Fähigkeit zur Verarbeitung langer Sequenzen auszeichnen, entwerfen wir einen hybriden CNN-SSM-Block, der die lokale Merkmalsextraktionskraft von Faltungsnetzwerken mit der Fähigkeit von SSMs zur Erfassung langstreckiger Abhängigkeiten vereint. Zudem verfügt U-Mamba über eine selbstkonfigurierende Mechanik, die es ermöglicht, sich automatisch an verschiedene Datensätze anzupassen, ohne menschliche Intervention. Wir führen umfangreiche Experimente an vier unterschiedlichen Aufgaben durch, darunter die 3D-Segmentierung abdomineller Organe in CT- und MRT-Bildern, die Segmentierung von Instrumenten in Endoskopiebildern sowie die Segmentierung von Zellen in Mikroskopiebildern. Die Ergebnisse zeigen, dass U-Mamba state-of-the-art-Netzwerke sowohl auf Basis von CNNs als auch von Transformers in allen Aufgaben übertrifft. Dies eröffnet neue Wege für die effiziente Modellierung langstreckiger Abhängigkeiten in der biomedizinischen Bildanalyse. Der Quellcode, die Modelle und die Daten sind öffentlich unter https://wanglab.ai/u-mamba.html verfügbar.