DuAT: Dual-Aggregation Transformer Network für die medizinische Bildsegmentierung

Transformer-basierte Modelle haben sich in der Computer Vision durch die Modellierung langreichweitiger Abhängigkeiten und die Erfassung globaler Darstellungen als äußerst erfolgreich erwiesen. Allerdings werden sie häufig von Merkmalen großer Muster dominiert, was zu einem Verlust lokaler Details (z. B. Ränder und kleine Objekte) führt, die für die Segmentierung medizinischer Bilder von entscheidender Bedeutung sind. Um dieses Problem zu mildern, schlagen wir ein Dual-Aggregation Transformer Network namens DuAT vor, das durch zwei innovative Komponenten gekennzeichnet ist: den Global-to-Local Spatial Aggregation (GLSA)-Modul und den Selective Boundary Aggregation (SBA)-Modul. Der GLSA-Modul ist in der Lage, sowohl globale als auch lokale räumliche Merkmale zu aggregieren und darzustellen, was jeweils der Lokalisierung großer und kleiner Objekte zugutekommt. Der SBA-Modul dient zur Aggregation von Randmerkmalen aus niedrigstufigen Features und semantischer Information aus hochstufigen Features, um die Erhaltung räumlicher Details an Rändern und die präzise Re-Kalibrierung von Objekten zu verbessern. Umfangreiche Experimente an sechs Benchmark-Datensätzen zeigen, dass unser vorgeschlagenes Modell state-of-the-art-Methoden bei der Segmentierung von Hautläsionen und Polypen in Koloskopiebildern übertrifft. Zudem ist unser Ansatz robuster als bestehende Methoden in anspruchsvollen Situationen wie der Segmentierung kleiner Objekte oder bei unscharfen Objektrandgrenzen.