Command Palette
Search for a command to run...
IronDepth : Raffinement itératif de la profondeur à vue unique à l’aide de la normale de surface et de son incertitude
IronDepth : Raffinement itératif de la profondeur à vue unique à l’aide de la normale de surface et de son incertitude
Gwangbin Bae Ignas Budvytis Roberto Cipolla
Résumé
L'estimation de la normale de surface à partir d'une seule image et l'estimation de la profondeur sont des problèmes étroitement liés, puisque la première peut être déduite de la seconde. Toutefois, les normales de surface calculées à partir des sorties des méthodes d'estimation de profondeur sont significativement moins précises que celles estimées directement par des réseaux neuronaux. Pour réduire cette disparité, nous proposons un cadre novateur qui utilise à la fois la normale de surface et son incertitude pour raffiner de manière itérative la carte de profondeur prédite. La profondeur de chaque pixel peut être propagée vers un pixel de requête en utilisant la normale de surface prédite comme guide. Nous formulons donc le raffinement de profondeur comme une classification visant à sélectionner le pixel voisin à partir duquel effectuer la propagation. En propagant ensuite vers des points situés à une échelle sous-pixel, nous réalisons une suréchantillonnage de la sortie raffinée à faible résolution. La méthode proposée atteint des performances de pointe sur les jeux de données NYUv2 et iBims-1, tant en termes de profondeur que de normales de surface. De plus, notre module de raffinement peut être facilement intégré aux méthodes existantes d'estimation de profondeur afin d'améliorer leur précision. Nous démontrons également que notre cadre, entraîné uniquement pour l'estimation de profondeur, peut être utilisé pour la complétion de profondeur. Le code source est disponible à l'adresse suivante : https://github.com/baegwangbin/IronDepth.