Tiefes Lernen partieller Graphenübereinstimmung über differenzierbares Top-K

Graph-Matching (GM) zielt darauf ab, Knotenpaarungen zwischen Graphen zu identifizieren, indem die Knoten- und Kantenaffinitäten zwischen den zugeordneten Elementen maximiert werden. Als NP-schweres Problem wird die Herausforderung durch die Existenz von Ausreißerknoten in beiden Graphen weiter verschärft, was in der Praxis, insbesondere bei visuellen Aufgaben, allgegenwärtig ist. Allerdings fehlen gängige Affinitätsmaximierungsansätze oft ein konsistentes Schema zur Unterdrückung falscher Zuordnungen und greifen stattdessen auf handgefertigte Schwellenwerte zurück, um Ausreißer zu eliminieren. Diese Beschränkung wird auch von neuronalen GM-Lösern übernommen, obwohl diese im idealen Szenario ohne Ausreißer über überlegene Leistung verfügen. In diesem Paper schlagen wir vor, das partielle GM-Problem als Top-k-Auswahl-Aufgabe zu formulieren, wobei die Anzahl der Inlier k entweder gegeben oder geschätzt wird. Konkret entwickeln wir ein differenzierbares Top-k-Modul, das eine effektive Gradientenabstiegs-Optimierung über der optimalen-Transport-Schicht ermöglicht und problemlos in state-of-the-art tiefen GM-Pipelines wie das quadratische Matching-Netzwerk NGMv2 sowie das lineare Matching-Netzwerk GCAN integriert werden kann. Gleichzeitig werden Aufmerksamkeitsfusionsschichten zur Aggregation eingeführt, um k automatisch zu schätzen und so eine ausreißerrobuste Zuordnung im realen Einsatz zu ermöglichen. Zuletzt präsentieren wir eine überarbeitete und neu veröffentlichte Benchmark namens IMC-PT-SparseGM, die auf der IMC-PT-Stereobild-Matching-Datenbank basiert. Die neue Benchmark umfasst vielfältigere, skalenveränderliche Graphen sowie partielle Zuordnungsinstanzen aus der realen Welt. Experimente zeigen, dass unsere Methode andere Ansätze für partielle Zuordnung auf etablierten Benchmarks übertrifft.