Propagation Affinitaire entre Profondeur, Normale de Surface et Segmentation Sémantique

Dans cet article, nous proposons un nouveau cadre de propagation affinitaire de motifs (Pattern-Affinitive Propagation, PAP) pour prédire conjointement la profondeur, la normale de surface et la segmentation sémantique. La motivation derrière cette approche provient d'une observation statistique selon laquelle les paires de motifs affinitaires se répètent fréquemment à travers différentes tâches ainsi que dans une même tâche. Par conséquent, nous pouvons effectuer deux types de propagations : la propagation inter-tâches et la propagation spécifique à une tâche, afin de diffuser ces motifs similaires de manière adaptative. La première intègre les motifs d'affinité inter-tâches pour s'adapter à chaque tâche par le calcul des relations non-locales. Ensuite, la seconde réalise une diffusion itérative dans l'espace des caractéristiques afin que les motifs d'affinité inter-tâches soient largement répartis au sein de la tâche. Ainsi, l'apprentissage de chaque tâche peut être régularisé et amélioré grâce aux affinités complémentaires au niveau des tâches. De nombreuses expériences démontrent l'efficacité et la supériorité de notre méthode sur les trois tâches conjointes. Parallèlement, nous obtenons des résultats d'état de l'art ou compétitifs sur trois ensembles de données connexes : NYUD-v2, SUN-RGBD et KITTI.