APANet: Adaptive Prototypes Alignment Network für Few-Shot Semantic Segmentation

Few-shot-semantische Segmentierung zielt darauf ab, Objekte neuer Klassen in einer gegebenen Abfragungsbild mit nur wenigen beschrifteten Unterstützungsbildern zu segmentieren. Die meisten modernen Ansätze nutzen einen Metrik-Lernrahmen, der die Segmentierung durch die Zuordnung jedes Abfragungsfeatures zu einem gelernten, klassenspezifischen Prototyp durchführt. Dieser Rahmen leidet jedoch unter verzerrter Klassifikation aufgrund unvollständiger Merkmalsvergleiche. Um dieses Problem zu beheben, stellen wir eine adaptive Prototypendarstellung vor, indem wir klassenspezifische und klassenunabhängige Prototypen einführen und somit vollständige Merkmalspaare für die Lernung semantischer Ausrichtung mit Abfragungsfeatures konstruieren. Die komplementäre Art des Merkmalslernens bereichert effektiv den Merkmalsvergleich und unterstützt die Entwicklung eines unverzerrten Segmentierungsmodells im Few-shot-Szenario. Die Methode wird mit einem zweigleitigen, end-to-end-Netzwerk realisiert (d.h. einem klassenspezifischen Zweig und einem klassenunabhängigen Zweig), das Prototypen generiert und anschließend Abfragungsfeatures kombiniert, um Vergleiche durchzuführen. Darüber hinaus ist der vorgeschlagene klassenunabhängige Zweig einfach, aber äußerst wirksam. In der Praxis kann er adaptiv mehrere klassenunabhängige Prototypen für Abfragungsbilder generieren und die Merkmalsausrichtung auf selbstkontrastive Weise lernen. Umfassende Experimente auf PASCAL-5$^i$ und COCO-20$^i$ belegen die Überlegenheit unserer Methode. Ohne die Inferenzeffizienz zu beeinträchtigen, erzielt unser Modell sowohl im 1-Shot- als auch im 5-Shot-Szenario state-of-the-art-Ergebnisse für die semantische Segmentierung.