D2-Net: Ein trainierbares CNN für die gemeinsame Detektion und Beschreibung lokaler Merkmale

In dieser Arbeit adressieren wir das Problem der Zuordnung zuverlässiger Pixel-Level-Korrespondenzen unter schwierigen Aufnahmebedingungen. Wir schlagen einen Ansatz vor, bei dem ein einzelnes Faltungsneuronales Netzwerk eine doppelte Rolle spielt: Es fungiert gleichzeitig als dichter Merkmalsdeskriptor und als Merkmalsdetektor. Durch die Verzögerung der Detektion auf ein späteres Stadium sind die gewonnenen Schlüsselpunkte stabiler als ihre traditionellen Gegenstücke, die auf der frühen Detektion von Niveau-1-Strukturen basieren. Wir zeigen, dass dieses Modell mithilfe von Pixel-Korrespondenzen trainiert werden kann, die aus leicht zugänglichen großmaßstäblichen SfM-Rekonstruktionen extrahiert wurden, ohne weitere Annotationen. Die vorgeschlagene Methode erzielt den aktuellen Stand der Technik sowohl im schwierigen Datensatz für die Tages-Nacht-Lokalisierung in Aachen als auch im InLoc-Innenraum-Lokalisierungs-Benchmark und bietet zudem wettbewerbsfähige Leistungen in anderen Benchmarks für Bildvergleich und 3D-Rekonstruktion.