3D-LiDAR- und Stereo-Fusion mit konditionaler Kostenvolumen-Normalisierung in einem Stereo-Matching-Netzwerk

Die komplementären Eigenschaften von aktiven und passiven Tiefenmessverfahren motivieren die Fusion des LiDAR-Sensors und der Stereo-Kamera zur verbesserten Tiefenwahrnehmung. Anstatt die geschätzten Tiefen direkt zwischen den LiDAR- und Stereo-Modalen zu fusionieren, nutzen wir zwei erweiterte Techniken im Stereo-Matching-Netzwerk: Eingabefusion und bedingte Kostenvolumen-Normalisierung (CCVNorm) auf LiDAR-Informationen. Das vorgeschlagene Framework ist generisch und eng mit dem Kostenvolumen-Komponenten verbunden, die in Stereo-Matching-Neuralnetzen häufig verwendet werden. Wir verifizieren experimentell die Effektivität und Robustheit unserer Methode anhand der KITTI Stereo- und Tiefenvervollständigungsdatensätze, wobei wir eine günstige Leistung gegenüber verschiedenen Fusionss Strategien erzielen. Darüber hinaus zeigen wir, dass die vorgeschlagene Methode durch eine hierarchische Erweiterung von CCVNorm nur einen geringfügigen Mehraufwand in Bezug auf Rechenzeit und Modellgröße für das Stereo-Matching-Netzwerk mit sich bringt. Für die Projektseite siehe: https://zswang666.github.io/Stereo-LiDAR-CCVNorm-Project-Page/