Prior-gesteuertes Merkmalsverstärkungsnetzwerk für Few-Shot-Segmentierung

Zustandsbestimmende Methoden der semantischen Segmentierung erfordern ausreichend etikettierte Daten, um gute Ergebnisse zu erzielen, und funktionieren kaum auf nicht gesehenen Klassen ohne Feinabstimmung. Few-shot-Segmentierung wurde daher vorgeschlagen, um dieses Problem anzugehen, indem ein Modell gelernt wird, das sich schnell an neue Klassen mit wenigen etikettierten Support-Proben anpasst. Diese Ansätze leiden dennoch weiterhin unter einer Reduktion der Generalisierungsfähigkeit auf nicht gesehene Klassen, bedingt durch eine ungeeignete Nutzung hochwertiger semantischer Informationen der Trainingsklassen sowie räumlicher Inkonsistenzen zwischen Query- und Support-Zielen. Um diese Probleme zu mildern, schlagen wir das Prior Guided Feature Enrichment Network (PFENet) vor. Es umfasst zwei neuartige Komponenten: (1) eine trainingsfreie Methode zur Generierung von Prior-Masken, die nicht nur die Generalisierungsfähigkeit bewahrt, sondern auch die Modellleistung verbessert, und (2) einen Feature Enrichment Module (FEM), der räumliche Inkonsistenzen durch adaptive Anreichung der Query-Features mit Support-Features und Prior-Masken überwindet. Umfangreiche Experimente auf PASCAL-5$^i$ und COCO zeigen, dass sowohl die vorgeschlagene Prior-Generierungsmethode als auch der FEM das Basismodell signifikant verbessern. Unser PFENet übertrifft zudem state-of-the-art-Methoden deutlich, ohne Effizienz einzubüßen. Überraschenderweise generalisiert unser Modell sogar auf Fälle, in denen keine etikettierten Support-Proben vorhanden sind. Der Quellcode ist unter https://github.com/Jia-Research-Lab/PFENet/ verfügbar.