Données Éparses et Denses avec les CNNs : Complétion de Profondeur et Segmentation Sémantique

Les réseaux de neurones convolutionnels sont conçus pour des données denses, mais les données visuelles sont souvent éparse (profondeur stéréoscopique, nuages de points, traits de stylo, etc.). Nous présentons une méthode permettant de traiter des données de profondeur éparse avec une option pour des données RGB denses, et d'accomplir la complétion de profondeur et la segmentation sémantique en modifiant uniquement la dernière couche. Notre proposition apprend efficacement des caractéristiques éparse sans nécessiter un masque de validité supplémentaire. Nous montrons comment garantir la robustesse du réseau face à des éparsités d'entrée variables. Notre méthode fonctionne même avec des densités aussi faibles que 0,8 % (lidar à 8 couches) et surpasse tous les travaux publiés à l'état de l'art sur le benchmark de complétion de profondeur Kitti.