Korrespondenznetzwerke mit adaptiver Nachbarschaftskonsensbildung

In diesem Artikel befassen wir uns mit der Aufgabe der Herstellung dichter visueller Korrespondenzen zwischen Bildern, die Objekte derselben Kategorie enthalten. Dies ist eine anspruchsvolle Aufgabe aufgrund großer intra-klassischer Variabilität und des Mangels an dichten Pixel-Level-Anmerkungen. Wir schlagen eine convolutionale neuronale Netzwerkarchitektur namens adaptive Neighborhood Consensus Network (ANC-Net) vor, die end-to-end mit spärlichen Schlüsselpunkt-Anmerkungen trainiert werden kann, um diese Herausforderung zu bewältigen. Im Kern von ANC-Net befindet sich unser vorgeschlagenes nicht-isotropes 4D-Convolution-Kernel, das als Baustein für das adaptive Neighborhood Consensus-Modul dient und eine robuste Abbildung ermöglicht. Zudem führen wir in ANC-Net ein einfaches und effizientes multiscales Selbstähnlichkeitsmodul ein, um die gelernten Merkmale robuster gegenüber intra-klassischen Variationen zu machen. Außerdem schlagen wir eine neuartige orthogonale Verlustfunktion vor, die die Eins-zu-Eins-Zuordnungsbedingung erzwingen kann. Wir evaluieren die Wirksamkeit unserer Methode umfassend an verschiedenen Benchmarks, wobei sie die derzeit besten Methoden erheblich übertrifft.