Hyperkorrelationssqueeze für Few-Shot-Segmentierung

Few-shot-semantische Segmentierung zielt darauf ab, Objekte aus einer Abfragabbildung zu segmentieren, indem nur wenige annotierte Unterstützungsabbildungen der Zielklasse verwendet werden. Diese anspruchsvolle Aufgabe erfordert das Verständnis vieler visueller Hinweise auf unterschiedlichen Ebenen sowie die Analyse feinabgestimmter Korrespondenzbeziehungen zwischen der Abfragabbildung und den Unterstützungsabbildungen. Um dieses Problem anzugehen, schlagen wir Hyperkorrelations-Squeeze-Netzwerke (HSNet) vor, die mehrstufige Merkmalskorrelationen und effiziente 4D-Faltungen nutzen. Das Verfahren extrahiert vielfältige Merkmale aus verschiedenen Ebenen der intermediären Faltungsabschnitte und konstruiert eine Sammlung von 4D-Korrelations-Tensoren, sogenannte Hyperkorrelationen. Unter Verwendung effizienter zentrumspivotierter 4D-Faltungen innerhalb einer pyramidenförmigen Architektur wird die Hyperkorrelation schrittweise von grob nach fein so komprimiert, dass hochwertige semantische Informationen und niedrigstufige geometrische Hinweise präzise Segmentierungsmasken erzeugen. Die signifikanten Leistungsverbesserungen auf den Standardbenchmarks für Few-shot-Segmentierung – PASCAL-5i, COCO-20i und FSS-1000 – bestätigen die Wirksamkeit des vorgeschlagenen Ansatzes.