Hyperpixel-Flow: Semantische Korrespondenz mit mehrschichtigen Neuronalen Merkmalen

Die Herstellung visueller Korrespondenzen bei großen innerklassischen Variationen erfordert die Analyse von Bildern auf verschiedenen Ebenen, von semantisch und kontextuell verknüpften Merkmalen bis hin zu lokalen Mustern, wobei Instanzspezifika unberücksichtigt bleiben. Um diese Herausforderungen anzugehen, stellen wir Bilder durch „Hyperpixel“ dar, die eine kleine Anzahl relevanter Merkmale nutzen, die aus den frühen bis späten Schichten eines Faltungsneuronalen Netzes (Convolutional Neural Network) ausgewählt werden. Indem wir die verdichteten Merkmale der Hyperpixel nutzen, entwickeln wir einen effektiven Echtzeit-Matching-Algorithmus basierend auf der Hough-geometrischen Abstimmung. Die vorgeschlagene Methode, Hyperpixel-Flow, setzt einen neuen Standard in drei etablierten Benchmarks sowie in einem neuen Datensatz, SPair-71k, der deutlich mehr Bildpaare als bestehende Datensätze enthält und präzisere und reichere Annotationen für eine detaillierte Analyse bietet.