SAPA: Ähnlichkeitsbewusste Punktzugehörigkeit für die Merkmalsaufwertung

Wir führen den Begriff der Punktzugehörigkeit in die Merkmalsaufwertung ein, der die Zugehörigkeit jedes aufgewerteten Punktes zu einem semantischen Cluster beschreibt, das durch lokalen Decoder-Merkmalspunkte mit semantischer Ähnlichkeit gebildet wird. Durch eine Neubetrachtung der Punktzugehörigkeit präsentieren wir eine generische Formulierung zur Generierung von Aufwerts-Kernen. Diese Kerne fördern nicht nur die semantische Glattheit, sondern auch die Schärfe an den Rändern in den aufgewerteten Merkmalskarten. Solche Eigenschaften sind insbesondere für einige dichte Vorhersageaufgaben wie die semantische Segmentierung nützlich. Die Kernidee unserer Formulierung besteht darin, Ähnlichkeitsbewusste Kerne durch den Vergleich der Ähnlichkeit zwischen jedem Encoder-Merkmalspunkt und dem räumlich assoziierten lokalen Bereich der Decoder-Merkmale zu generieren. Auf diese Weise kann der Encoder-Merkmalspunkt als Hinweis dienen, um das semantische Cluster der aufgewerteten Merkmalspunkte zu informieren. Um die Formulierung konkret umzusetzen, instantiieren wir einen leichten Aufwerts-Operator, den wir Similarity-Aware Point Affiliation (SAPA) nennen, und untersuchen dessen Varianten. SAPA führt zu konsistenten Leistungsverbesserungen bei einer Reihe von dichten Vorhersageaufgaben, einschließlich semantischer Segmentierung, Objekterkennung, Tiefenschätzung und Bildmatting. Der Quellcode ist unter folgender URL verfügbar: https://github.com/poppinace/sapa