Doppelt deformierbare Aggregation von Kovarianzmatrizen für Few-shot-Segmentation

Die Schulung semantischer Segmentierungsmodelle mit wenigen annotierten Beispielen bietet großes Potenzial für zahlreiche Anwendungen in der Praxis. Bei der Few-Shot-Segmentierung stellt die Hauptaufgabe dar, die semantische Korrespondenz zwischen Support- und Query-Beispielen unter Verwendung begrenzter Trainingsdaten präzise zu messen. Um dieses Problem anzugehen, schlagen wir vor, lernbare Kovarianzmatrizen mit einem deformierbaren 4D-Transformer zu aggregieren, um effektiv die Segmentierungskarte vorherzusagen. Konkret entwickeln wir zunächst einen neuartigen Mechanismus zur harten Beispielminierung, um Kovarianzkerne für den Gauss-Prozess zu lernen. Die gelernten Kovarianzkerne weisen im Vergleich zu bestehenden Methoden, die auf Kosinus-Ähnlichkeit basieren, erhebliche Vorteile bei der Korrespondenzmessung auf. Auf Basis dieser gelernten Kovarianzkerne entwerfen wir ein effizientes, doppelt deformierbares 4D-Transformer-Modul, das Merkmalsähnlichkeitskarten adaptiv in Segmentierungsergebnisse aggregiert. Durch die Kombination dieser beiden Ansätze erreicht das vorgeschlagene Verfahren nicht nur neue SOTA-Leistungen auf öffentlichen Benchmarks, sondern konvergiert zudem deutlich schneller als bestehende Methoden. Experimente an drei öffentlichen Datensätzen belegen die Wirksamkeit unseres Ansatzes.