HyperAIHyperAI

Command Palette

Search for a command to run...

H-Net: Unsupervised Attention-basierte Stereo-Tiefenschätzung unter Ausnutzung der Epipolargeometrie

Baoru Huang Jian-Qing Zheng Stamatia Giannarou Daniel S. Elson

Zusammenfassung

Die Tiefenschätzung aus einem Stereo-Bildpaar ist zu einer der am häufigsten untersuchten Anwendungen im Bereich der Computer Vision geworden, wobei die meisten bisherigen Methoden auf vollständig überwachten Lernansätzen basieren. Aufgrund der Schwierigkeit, genaue und skalierbare Ground-Truth-Daten zu beschaffen, ist die Trainierung solcher vollständig überwachten Methoden jedoch herausfordernd. Als Alternative gewinnen selbstüberwachte Ansätze zunehmend an Bedeutung, um diese Herausforderung zu bewältigen. In diesem Paper stellen wir H-Net vor, einen Deep-Learning-Framework für unsupervisierte Stereo-Tiefenschätzung, der die Epipolargeometrie nutzt, um die Stereo-Abbildung zu verfeinern. Erstmals wird eine Siamese-Autoencoder-Architektur für die Tiefenschätzung eingesetzt, die es ermöglicht, die gegenseitige Information zwischen den geraden Stereo-Bildern zu extrahieren. Um die Epipolarbedingung zu erzwingen, wurde ein gegenseitiger Epipolar-Attention-Mechanismus entworfen, der bei der Lernung der gegenseitigen Information zwischen dem Eingabepaar stärkeren Fokus auf Korrespondenzen legt, die auf derselben Epipollinie liegen. Die Stereo-Korrespondenzen werden durch die Integration semantischer Informationen in den vorgeschlagenen Attention-Mechanismus weiter verbessert. Insbesondere wird der Optimal-Transport-Algorithmus verwendet, um die Aufmerksamkeit zu unterdrücken und Ausreißer in Bereichen zu eliminieren, die in beiden Kameras nicht sichtbar sind. Umfassende Experimente auf KITTI2015 und Cityscapes zeigen, dass unsere Methode die derzeit besten unsupervisierten Ansätze für die Stereo-Tiefenschätzung übertrifft und gleichzeitig die Lücke zu vollständig überwachten Methoden schließt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
H-Net: Unsupervised Attention-basierte Stereo-Tiefenschätzung unter Ausnutzung der Epipolargeometrie | Paper | HyperAI