H-Net: Unsupervised Attention-basierte Stereo-Tiefenschätzung unter Ausnutzung der Epipolargeometrie

Die Tiefenschätzung aus einem Stereo-Bildpaar ist zu einer der am häufigsten untersuchten Anwendungen im Bereich der Computer Vision geworden, wobei die meisten bisherigen Methoden auf vollständig überwachten Lernansätzen basieren. Aufgrund der Schwierigkeit, genaue und skalierbare Ground-Truth-Daten zu beschaffen, ist die Trainierung solcher vollständig überwachten Methoden jedoch herausfordernd. Als Alternative gewinnen selbstüberwachte Ansätze zunehmend an Bedeutung, um diese Herausforderung zu bewältigen. In diesem Paper stellen wir H-Net vor, einen Deep-Learning-Framework für unsupervisierte Stereo-Tiefenschätzung, der die Epipolargeometrie nutzt, um die Stereo-Abbildung zu verfeinern. Erstmals wird eine Siamese-Autoencoder-Architektur für die Tiefenschätzung eingesetzt, die es ermöglicht, die gegenseitige Information zwischen den geraden Stereo-Bildern zu extrahieren. Um die Epipolarbedingung zu erzwingen, wurde ein gegenseitiger Epipolar-Attention-Mechanismus entworfen, der bei der Lernung der gegenseitigen Information zwischen dem Eingabepaar stärkeren Fokus auf Korrespondenzen legt, die auf derselben Epipollinie liegen. Die Stereo-Korrespondenzen werden durch die Integration semantischer Informationen in den vorgeschlagenen Attention-Mechanismus weiter verbessert. Insbesondere wird der Optimal-Transport-Algorithmus verwendet, um die Aufmerksamkeit zu unterdrücken und Ausreißer in Bereichen zu eliminieren, die in beiden Kameras nicht sichtbar sind. Umfassende Experimente auf KITTI2015 und Cityscapes zeigen, dass unsere Methode die derzeit besten unsupervisierten Ansätze für die Stereo-Tiefenschätzung übertrifft und gleichzeitig die Lücke zu vollständig überwachten Methoden schließt.