Mining latenter Klassen für Few-shot-Segmentierung

Few-shot-Segmentation (FSS) zielt darauf ab, unerkannte Klassen zu segmentieren, indem lediglich wenige annotierte Beispiele zur Verfügung stehen. Bestehende Methoden leiden unter dem Problem der Merkmalsuntergrabung, bei dem potenziell neue Klassen während des Trainings als Hintergrund klassifiziert werden. Unser Ansatz soll dieses Problem mildern und die Merkmalsdarstellung für latente neue Klassen verbessern. In unserer Arbeit stellen wir einen neuartigen Joint-Training-Framework vor. Aufbauend auf der herkömmlichen episodischen Trainingsstrategie anhand von Support-Query-Paaren integrieren wir einen zusätzlichen Abbauzweig, der latente neue Klassen über übertragbare Untercluster ausnutzt, sowie eine neue Korrekturtechnik sowohl für Hintergrund- als auch für Vordergrundkategorien, um stabilere Prototypen zu fördern. Darüber hinaus verfügt unser übertragbarer Untercluster über die Fähigkeit, zusätzliche unbeschriftete Daten zur weiteren Verbesserung der Merkmalsdarstellung zu nutzen. Umfangreiche Experimente auf zwei FSS-Benchmarks zeigen, dass unsere Methode die bisherigen State-of-the-Art-Methoden deutlich übertrifft: Bei einer Verbesserung von 3,7 % mIOU auf PASCAL-5i und 7,0 % mIOU auf COCO-20i wird dies bei lediglich 26 % der Parameter eines herkömmlichen Ansatzes und einer 2,5-fach schnelleren Inferenzgeschwindigkeit erreicht. Der Quellcode ist unter https://github.com/LiheYoung/MiningFSS verfügbar.