Nachbarschaftskonsensnetze

Wir behandeln das Problem der Identifizierung zuverlässiger dichter Korrespondenzen zwischen einem Paar von Bildern. Dies ist eine herausfordernde Aufgabe aufgrund starker Erscheinungsunterschiede zwischen den entsprechenden Szenelementen und durch wiederkehrende Muster verursachten Ambiguitäten. Die Beiträge dieser Arbeit sind dreifach. Erstens, inspiriert durch die klassische Idee, Merkmalsübereinstimmungen mittels halb-lokaler Restriktionen zu entwirren, entwickeln wir eine von Anfang bis Ende trainierbare Faltungsneuronale Netzarchitektur (Convolutional Neural Network), die Mengen räumlich konsistenter Übereinstimmungen identifiziert, indem sie Konsensmuster in dem 4D-Raum aller möglichen Korrespondenzen zwischen einem Paar von Bildern analysiert, ohne ein globales geometrisches Modell zu benötigen. Zweitens zeigen wir, dass das Modell effektiv aus schwacher Überwachung in Form von übereinstimmenden und nicht übereinstimmenden Bilddupel trainiert werden kann, ohne die notwendige kostspielige manuelle Annotation punktgenauer Korrespondenzen. Drittens demonstrieren wir, dass das vorgeschlagene Nachbarschaftskonsensnetzwerk auf eine Reihe von Übereinstimmungsaufgaben angewendet werden kann, einschließlich sowohl kategorie- als auch instanzbezogener Übereinstimmungen, wobei es den Stand der Technik auf dem PF Pascal-Datensatz und dem InLoc-Innenraumvisuellen Lokalisierungsbenchmark erreicht.