RaBiT: Ein effizienter Transformer unter Verwendung eines bidirektionalen Merkmals-Pyramiden-Netzwerks mit umgekehrter Aufmerksamkeit für die Segmentierung von Kolonpolypen

Die automatische und genaue Segmentierung von Kolonpolypen ist entscheidend für die Früherkennung von Kolorektalkrebs. Fortgeschrittene Deep-Learning-Modelle haben vielversprechende Ergebnisse bei der Polypen-Segmentierung erzielt. Dennoch weisen sie weiterhin Einschränkungen hinsichtlich der Darstellung mehrskaliger Merkmale und der Generalisierungsfähigkeit auf. Um diese Probleme anzugehen, stellen wir in diesem Artikel RaBiT vor, ein Encoder-Decoder-Modell, das in seinem Encoder eine leichtgewichtige Transformer-basierte Architektur integriert, um mehrstufige globale semantische Beziehungen zu modellieren. Der Decoder besteht aus mehreren bidirektionalen Merkmalspyramiden-Schichten mit umgekehrten Aufmerksamkeitsmodulen, die die Fusionsleistung von Merkmalskarten auf verschiedenen Ebenen verbessern und die Polypgrenzen schrittweise verfeinern. Zudem präsentieren wir Ansätze zur Vereinfachung des umgekehrten Aufmerksamkeitsmoduls, um es besser für die Mehrklassen-Segmentierung geeignet zu machen. Umfangreiche Experimente auf mehreren Benchmark-Datensätzen zeigen, dass unsere Methode alle bestehenden Ansätze in allen Datensätzen übertrifft, während gleichzeitig eine geringe Rechenkomplexität beibehalten wird. Darüber hinaus demonstriert unsere Methode eine hohe Generalisierungsfähigkeit in Kreuz-Datensatz-Experimenten, selbst wenn Trainings- und Testdatensätze unterschiedliche Eigenschaften aufweisen.