Tiefe Bildhomographieabschätzung

Wir präsentieren ein tiefes Faltungsneuronales Netzwerk zur Schätzung der relativen Homographie zwischen einem Paar von Bildern. Unser Feed-Forward-Netzwerk besteht aus 10 Schichten, nimmt zwei überlagerte Graustufenbilder als Eingabe und erzeugt eine Homographie mit 8 Freiheitsgraden, die verwendet werden kann, um die Pixel des ersten Bildes auf das zweite abzubilden. Wir stellen zwei Architekturen von Faltungsneuronalen Netzwerken für HomographyNet vor: ein Regressionsnetzwerk, das die reellen Homographieparameter direkt schätzt, und ein Klassifikationsnetzwerk, das eine Verteilung über quantisierte Homographien erzeugt. Wir verwenden eine 4-Punkt-Homographieparametrisierung (4-point homography parameterization), die die vier Ecken eines Bildes in das andere abbildet. Unsere Netzwerke werden in einem end-to-end-Prozess unter Verwendung verzerrter MS-COCO-Bilder trainiert. Unser Ansatz funktioniert ohne die Notwendigkeit getrennter lokaler Merkmalsdetektion und Transformationschätzstufen. Unsere tiefen Modelle werden mit einem traditionellen Homographieschätzer basierend auf ORB-Merkmale verglichen, und wir betonen die Szenarien, in denen HomographyNet den traditionellen Techniken überlegen ist. Wir beschreiben auch eine Vielzahl von Anwendungen, die durch tiefe Homographieschätzung ermöglicht werden, um so die Flexibilität eines Deep-Learning-Ansatzes zu demonstrieren.