PENet : Vers une complétion de profondeur guidée par image précise et efficace

La complétion de profondeur guidée par image consiste à générer une carte de profondeur dense à partir d’une carte de profondeur éparses et d’une image de haute qualité. Dans cette tâche, la manière dont les modalités couleur et profondeur sont fusionnées joue un rôle crucial pour atteindre de bons résultats. Ce papier propose un architecture à deux branches composée d’une branche dominée par la couleur et d’une branche dominée par la profondeur, afin d’exploiter et de fusionner pleinement les deux modalités. Plus précisément, une branche reçoit une image couleur et une carte de profondeur éparses pour prédire une carte de profondeur dense. L’autre branche prend en entrée la carte de profondeur éparses et la carte de profondeur prédite précédemment, et produit également une carte de profondeur dense. Les cartes de profondeur prédites par les deux branches s’accompagnent mutuellement, et sont donc adaptativement fusionnées. En outre, nous proposons également une couche convolutive géométrique simple pour encoder des indices géométriques 3D. L’architecture enrichie par ces indices géométriques effectue la fusion des différentes modalités à plusieurs étapes, conduisant à de bons résultats en complétion de profondeur. Nous avons également implémenté un CSPN++ dilaté et accéléré afin de raffiner efficacement la carte de profondeur fusionnée. Le modèle complet proposé obtient la première place au classement en ligne KITTI pour la complétion de profondeur au moment de la soumission. Il est également plus rapide dans les inférences que la plupart des méthodes classées en tête. Le code de ce travail est disponible à l’adresse suivante : https://github.com/JUGGHM/PENet_ICRA2021.