Polyp-PVT: Polypen-Segmentierung mit Pyramid Vision Transformers

Die meisten Methoden zur Polypen-Segmentierung verwenden CNNs als Grundlage, was zwei zentrale Probleme bei der Informationsübertragung zwischen Encoder und Decoder verursacht: 1) die Berücksichtigung der unterschiedlichen Beiträge verschiedener Merkmalslevel und 2) die Entwicklung einer effektiven Methode zur Fusions dieser Merkmale. Im Gegensatz zu bestehenden CNN-basierten Ansätzen setzen wir einen Transformer-Encoder ein, der leistungsfähigere und robusterer Darstellungen lernt. Zudem berücksichtigen wir die Einflüsse der Bildaufnahme sowie die schwer erkennbaren Eigenschaften von Polypen und führen drei standardisierte Module ein: einen kaskadierten Fusionsmodul (CFM), einen Tarnungserkennungsmodul (CIM) und einen Ähnlichkeitsaggregationsmodul (SAM). Dabei sammelt der CFM semantische und räumliche Informationen über Polypen aus hochwertigen Merkmalen; der CIM erfasst Polypeninformationen, die in niedrigen Merkmalen versteckt sind; und der SAM erweitert die Pixelmerkmale des Polypenbereichs durch hochwertige semantische Positionsinformationen auf den gesamten Polypenbereich, wodurch eine effektive Fusion von Merkmalen über verschiedene Ebenen hinweg erreicht wird. Das vorgeschlagene Modell, Polyp-PVT genannt, unterdrückt Rauschen in den Merkmalen effektiv und verbessert deren Ausdruckskraft signifikant. Umfangreiche Experimente auf fünf weit verbreiteten Datensätzen zeigen, dass das vorgeschlagene Modell robuster gegenüber verschiedenen anspruchsvollen Situationen (z. B. Änderungen im Erscheinungsbild, kleine Objekte, Rotation) ist als bestehende repräsentative Methoden. Das Modell ist unter https://github.com/DengPingFan/Polyp-PVT verfügbar.