Analyse de corrélation canonique RGB-D profonde pour l'achèvement de profondeur épars

Dans cet article, nous proposons notre Réseau de Corrélation pour la Complétion (CFCNet), un modèle d'apprentissage profond de bout en bout qui utilise la corrélation entre deux sources de données pour effectuer la complétion de profondeur épars. Le CFCNet apprend à capturer, dans la mesure du possible, les caractéristiques sémantiquement corrélées entre les informations RGB et de profondeur. Grâce aux paires de pixels d'image et aux mesures visibles dans une carte de profondeur épars, le CFCNet facilite la transformation mutuelle au niveau des caractéristiques entre différentes sources de données. Cette transformation permet au CFCNet de prédire les caractéristiques et de reconstruire les données des mesures de profondeur manquantes selon leurs caractéristiques RGB correspondantes, transformées. Nous étendons l'analyse canonique de corrélation à un domaine 2D et la formulons comme l'un de nos objectifs d'entraînement (c'est-à-dire l'analyse canonique de corrélation profonde 2D, ou « perte 2D2CCA »). De nombreuses expériences valident la capacité et la flexibilité de notre CFCNet par rapport aux méthodes les plus avancées actuellement disponibles, tant pour des scènes intérieures que pour des scènes extérieures avec différents motifs épars réels. Les codes sont disponibles à : https://github.com/choyingw/CFCNet.