Estimation et exploitation de l'incertitude aléatoire dans l'estimation des normales de surface

L'estimation des normales de surface à partir d'une seule image est une tâche importante dans la compréhension des scènes 3D. Dans cet article, nous abordons deux limitations partagées par les méthodes existantes : l'incapacité d'estimer l'incertitude aléatoire et le manque de détails dans la prédiction. Le réseau proposé estime la distribution de probabilité des normales de surface au niveau de chaque pixel. Nous introduisons une nouvelle paramétrisation pour cette distribution, telle que sa log-vraisemblance négative correspond à une perte angulaire avec atténuation apprise. La valeur attendue de l'erreur angulaire est ensuite utilisée comme mesure de l'incertitude aléatoire. Nous présentons également un nouveau cadre de décodeur où des perceptrons multicouches (multi-layer perceptrons) sont formés sur un sous-ensemble de pixels échantillonnés en fonction de l'incertitude estimée. L'échantillonnage guidé par l'incertitude proposé évite le biais lors de la formation vers les grandes surfaces planes et améliore la qualité de la prédiction, en particulier près des contours des objets et sur les petites structures. Les résultats expérimentaux montrent que la méthode proposée surpassent l'état de l'art dans ScanNet et NYUv2, et que l'incertitude estimée est bien corrélée avec l'erreur de prédiction. Le code est disponible à l'adresse suivante : https://github.com/baegwangbin/surface_normal_uncertainty.