4 个月前

深度、表面法线和语义分割之间的模式亲和传播

Zhenyu Zhang; Zhen Cui; Chunyan Xu; Yan Yan; Nicu Sebe; Jian Yang
深度、表面法线和语义分割之间的模式亲和传播
摘要

本文提出了一种新颖的模式亲和传播(Pattern-Affinitive Propagation, PAP)框架,用于联合预测深度、表面法线和语义分割。该框架的动机源于统计观察结果,即模式亲和对在不同任务之间以及同一任务内部频繁出现。因此,我们可以通过两种类型的传播来自适应地扩散这些相似的模式:跨任务传播和任务特定传播。前者通过计算非局部关系,整合跨任务的亲和模式以适应每个任务;后者则在特征空间中进行迭代扩散,使得跨任务的亲和模式能够在任务内部广泛传播。相应地,每项任务的学习可以通过互补的任务级亲和模式得到正则化和增强。大量实验表明,我们的方法在这三项联合任务上具有有效性和优越性。同时,我们在三个相关数据集NYUD-v2、SUN-RGBD和KITTI上取得了最先进或有竞争力的结果。