Prototypen-Netzwerk mit Teilberücksichtigung für Few-shot-Semantische Segmentierung

Few-shot-Semantiksegmentierung zielt darauf ab, neue Objektklassen mit nur wenigen annotierten Beispielen zu lernen, was eine Vielzahl realweltlicher Anwendungen ermöglicht. Die meisten bestehenden Methoden konzentrieren sich entweder auf den restriktiven Fall der einseitigen Few-shot-Segmentierung oder leiden unter unvollständiger Abdeckung von Objektregionen. In diesem Artikel stellen wir einen neuartigen Few-shot-Semantiksegmentierungsansatz basierend auf Prototypendarstellung vor. Unser zentrales Konzept besteht darin, die gesamte Klassendarstellung in eine Menge teilbewusster Prototypen zu zerlegen, die in der Lage sind, vielfältige und fein granulierte Objektmerkmale zu erfassen. Zudem schlagen wir vor, unlabeled Daten zu nutzen, um unsere teilbewussten Prototypen zu bereichern, wodurch eine verbesserte Modellierung der innerklassigen Variationen semantischer Objekte erreicht wird. Wir entwickeln ein neuartiges Graph Neural Network-Modell, um die vorgeschlagenen teilbewussten Prototypen auf Basis von gelabelten und unlabeled Bildern zu generieren und zu verfeinern. Umfangreiche experimentelle Bewertungen an zwei Benchmarks zeigen, dass unsere Methode die bisherigen Ansätze mit einer signifikanten Lücke übertrifft.