Merkmalsgewichtung und Boosting für Few-Shot-Segmentierung

Diese Arbeit befasst sich mit der Few-Shot-Segmentierung von Vordergrundobjekten in Bildern. Wir trainieren ein CNN auf kleinen Teilmengen von Trainingsbildern, wobei jede Teilmenge die Bedingungen des Few-Shot-Szenarios nachahmt. In jeder Teilmenge dient ein Bild als Abfragebild (query), während die anderen Bild(er) als Support-Bilder mit ground-truth-Segmentierung dienen. Zunächst extrahiert das CNN Merkmalskarten aus dem Abfrage- und den Support-Bildern. Anschließend wird ein Klassenmerkmalsvektor als Mittelwert der Merkmalskarten des Support-Bildes über den bekannten Vordergrund berechnet. Schließlich wird das Zielobjekt im Abfragebild segmentiert, indem die Kosinus-Ähnlichkeit zwischen dem Klassenmerkmalsvektor und den Merkmalskarten des Abfragebildes verwendet wird. Wir leisten zwei Beiträge: (1) Verbesserung der Unterscheidbarkeit der Merkmale, sodass deren Aktivierungen im Vordergrund hoch und ansonsten niedrig sind; und (2) Steigerung der Inferenzleistung durch eine Ensemble-Expertensystem-Strategie, die durch den Gradienten des Verlustes gesteuert wird, der bei der Segmentierung der Support-Bilder im Testphase entsteht. Unsere Evaluierungen auf den Datensätzen PASCAL-$5^i$ und COCO-$20^i$ zeigen, dass wir bestehende Ansätze erheblich überbieten.