초록
컨벌루션 신경망(CNN)은 고정된 격자 커널 구조로 인해 기하학적 정보를 처리하는 능력이 제한됩니다. 깊이 데이터의 활용은 CNN을 이용한 RGB-D 의미 분할에서 진전을 이루게 하였습니다. 최신 방법들은 깊이를 추가 이미지로 사용하거나 3D 볼륨이나 포인트 클라우드에서 공간 정보를 처리합니다. 이러한 방법들은 높은 계산량과 메모리 비용을 초래합니다. 이러한 문제들을 해결하기 위해, 우리는 두 가지 직관적이고 유연하며 효과적인 연산인 깊이 인식 컨벌루션과 깊이 인식 평균 풀링을 도입하여 깊이 인식 CNN을 제안합니다. 정보 전파 과정에서 픽셀 간의 깊이 유사성을 활용함으로써 기하학적 정보가 CNN에 원활하게 통합됩니다. 어떠한 추가 매개변수도 도입하지 않으면서, 이 두 연산자는 기존의 CNN에 쉽게 통합될 수 있습니다. 어려운 RGB-D 의미 분할 벤치마크에서 수행된 광범위한 실험과 절차 해체 연구(ablation studies)는 우리의 접근 방식의 효과성과 유연성을 검증하였습니다.