StereoNet: Geführte hierarchische Verfeinerung für die Echtzeit-Kantenerkennung und Tiefenschätzung

Dieses Papier stellt StereoNet vor, die erste end-to-end Tiefenarchitektur für Echtzeit-Stereomatching, die auf einem NVidia Titan X mit 60 Bildern pro Sekunde (fps) läuft und hochwertige, kantenbewusste, quantisierungsfreie Disparitätskarten erzeugt. Ein wesentlicher Erkenntnis dieses Beitrags ist, dass das Netzwerk eine Subpixel-Genauigkeit erreicht, die um ein Vielfaches höher ist als bei traditionellen Stereomatching-Verfahren. Dies ermöglicht es uns, Echtzeitleistung durch den Einsatz eines sehr niedrigen Auflösungs-Kostenvolumens zu erzielen, das alle Informationen enthält, die für eine hohe Disparitätsgenauigkeit notwendig sind. Die räumliche Genauigkeit wird durch die Verwendung einer gelernten kantenbewussten Aufsample-Funktion erreicht. Unser Modell verwendet ein Siamesisches Netzwerk zur Extraktion von Merkmalen aus dem linken und rechten Bild. Eine erste Schätzung der Disparität wird in einem sehr niedrigen Auflösungs-Kostenvolumen berechnet und dann hierarchisch werden hochfrequente Details durch eine gelernte Aufsample-Funktion wieder eingeführt, die kompakte Pixel-zu-Pixel-Verbesserungsnetzwerke nutzt. Durch die Nutzung der Farbeingabe als Leitfaden ist diese Funktion in der Lage, hochwertige kantenbewusste Ausgaben zu produzieren. Wir erzielen überzeugende Ergebnisse in mehreren Benchmarks und zeigen damit, wie das vorgeschlagene Verfahren extreme Flexibilität bei akzeptablem Rechenaufwand bietet.