Contextuell kontrastierte Merkmale und gatete Multi-Skalen-Aggregation für die Szenensegmentierung

Die Szenen-Segmentation ist eine anspruchsvolle Aufgabe, da jedes Pixel im Bild annotiert werden muss. Es ist entscheidend, diskriminative Kontextinformationen auszunutzen und mehrskalige Merkmale zu aggregieren, um eine verbesserte Segmentierung zu erzielen. In diesem Artikel stellen wir zunächst ein neuartiges kontextkontrastiertes lokales Merkmal vor, das nicht nur informativen Kontext nutzt, sondern zudem die lokale Information im Kontrast zum Kontext hervorhebt. Das vorgeschlagene kontextkontrastierte lokale Merkmal verbessert die Auswertungsleistung erheblich, insbesondere für unauffällige Objekte und Hintergrund-Elemente. Darüber hinaus schlagen wir ein Gating-Summen-Verfahren vor, um mehrskalige Merkmale an jeder räumlichen Position selektiv zu aggregieren. Die Gatter in diesem Ansatz steuern den Informationsfluss verschiedener Skalenmerkmale. Ihre Werte werden aus dem Testbild mittels des vorgeschlagenen Netzwerks generiert, das aus den Trainingsdaten gelernt wurde, sodass sie nicht nur an die Trainingsdaten, sondern auch an das jeweilige Testbild anpassungsfähig sind. Ohne zusätzliche Komplexitäten erreicht der vorgeschlagene Ansatz konsistent den Stand der Technik auf drei etablierten Szenen-Segmentation-Datensätzen: Pascal Context, SUN-RGBD und COCO Stuff.