HyperAIHyperAI
vor 2 Monaten

Tiefe RGB-D Kanonische Korrelationsanalyse für die dünnbesetzte Tiefenvervollständigung

Yiqi Zhong; Cho-Ying Wu; Suya You; Ulrich Neumann
Tiefe RGB-D Kanonische Korrelationsanalyse für die dünnbesetzte Tiefenvervollständigung
Abstract

In dieser Arbeit schlagen wir unser Korrelationsvollständigkeitsnetzwerk (CFCNet) vor, ein end-to-end Tiefenlernmodell, das die Korrelation zwischen zwei Datensätzen zur Durchführung der dünnbesetzten Tiefenvervollständigung nutzt. Das CFCNet lernt, im größtmöglichen Maße die semantisch korrelierten Merkmale zwischen RGB- und Tiefeninformation zu erfassen. Durch Paare von Bildpixeln und den sichtbaren Messungen in einer dünnbesetzten Tiefenkarte ermöglicht das CFCNet die gegenseitige Transformation auf MerkmalsEbene verschiedener Datensätze. Diese Transformation ermöglicht es dem CFCNet, Merkmale vorherzusagen und Daten fehlender Tiefenmessungen basierend auf ihren entsprechenden, transformierten RGB-Merkmalen zu rekonstruieren. Wir erweitern die kanonische Korrelationsanalyse auf ein 2D-Gebiet und formulieren sie als eines unserer Trainingsziele (d.h. 2D tiefe kanonische Korrelation oder "2D2CCA-Loss"). Ausführliche Experimente bestätigen die Fähigkeit und Flexibilität unseres CFCNet im Vergleich zu den neuesten Methoden sowohl bei Innen- als auch bei Außenszenen mit verschiedenen realistischen dünnbesetzten Mustern. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/choyingw/CFCNet.