HyperAIHyperAI

Command Palette

Search for a command to run...

Doppelt deformierbare Aggregation von Kovarianzmatrizen für Few-shot-Segmentation

Zhitong Xiong Haopeng Li Xiao Xiang Zhu

Zusammenfassung

Die Schulung semantischer Segmentierungsmodelle mit wenigen annotierten Beispielen bietet großes Potenzial für zahlreiche Anwendungen in der Praxis. Bei der Few-Shot-Segmentierung stellt die Hauptaufgabe dar, die semantische Korrespondenz zwischen Support- und Query-Beispielen unter Verwendung begrenzter Trainingsdaten präzise zu messen. Um dieses Problem anzugehen, schlagen wir vor, lernbare Kovarianzmatrizen mit einem deformierbaren 4D-Transformer zu aggregieren, um effektiv die Segmentierungskarte vorherzusagen. Konkret entwickeln wir zunächst einen neuartigen Mechanismus zur harten Beispielminierung, um Kovarianzkerne für den Gauss-Prozess zu lernen. Die gelernten Kovarianzkerne weisen im Vergleich zu bestehenden Methoden, die auf Kosinus-Ähnlichkeit basieren, erhebliche Vorteile bei der Korrespondenzmessung auf. Auf Basis dieser gelernten Kovarianzkerne entwerfen wir ein effizientes, doppelt deformierbares 4D-Transformer-Modul, das Merkmalsähnlichkeitskarten adaptiv in Segmentierungsergebnisse aggregiert. Durch die Kombination dieser beiden Ansätze erreicht das vorgeschlagene Verfahren nicht nur neue SOTA-Leistungen auf öffentlichen Benchmarks, sondern konvergiert zudem deutlich schneller als bestehende Methoden. Experimente an drei öffentlichen Datensätzen belegen die Wirksamkeit unseres Ansatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp