깊이, 표면 법선 및 의미 분할 간 패턴 친화적 전파

본 논문에서는 깊이, 표면 법선 및 의미 분할을 동시에 예측하기 위한 새로운 패턴 친화적 전파(Pattern-Affinitive Propagation, PAP) 프레임워크를 제안합니다. 이 접근법의 동기는 다양한 작업 간과 한 작업 내에서 패턴 친화적 쌍들이 자주 반복된다는 통계적 관찰에서 비롯됩니다. 따라서, 우리는 두 가지 유형의 전파, 즉 타스크 간 전파와 태스크 특이적 전파를 수행하여 이러한 유사한 패턴들을 적응적으로 확산시킬 수 있습니다. 첫 번째 전파는 비국소적 관계 계산을 통해 각 태스크에 맞게 타스크 간 친화적 패턴을 통합합니다. 다음으로 두 번째 전파는 피처 공간에서 반복적인 확산을 수행하여 타스크 간 친화적 패턴이 해당 태스크 내에서 널리 퍼지도록 합니다. 이를 통해 각 태스크의 학습은 보완적인 태스크 수준의 친화성에 의해 규제되고 강화될 수 있습니다. 광범위한 실험 결과는 우리의 방법론이 세 가지 연관된 작업에서 효과적이며 우수함을 입증하였습니다. 또한, NYUD-v2, SUN-RGBD 및 KITTI 세 데이터셋에서 최신 또는 경쟁력 있는 결과를 달성하였습니다.