RGB-D 이미지의 의미 분할을 위한 계단식 특징 네트워크

전체 컨볼루션 네트워크(FCN)는 RGB 이미지로 표현된 장면의 의미적 세그멘테이션에 성공적으로 적용되어 왔다. 깊이 채널을 추가한 이미지는 이미지 속 장면의 기하학적 정보에 대한 더 깊은 이해를 제공한다. 그러나 이러한 추가적인 정보를 어떻게 최적으로 활용하여 세그멘테이션 성능을 향상시킬 수 있을지가 중요한 과제가 된다. 본 논문에서는 RGB-D 이미지를 세그멘테이션하기 위한 다중 브랜치 구조의 신경망을 제안한다. 제안하는 방법은 이용 가능한 깊이 정보를 활용하여 객체 또는 장면의 공통적인 시각적 특성, 즉 공통된 '장면 해상도(scene-resolution)'를 가진 계층으로 이미지를 분할하는 것이다. 또한, 학습된 특징의 관련 맥락 정보를 더 효과적으로 조절할 수 있도록 맥락 인식 가능한 수용 영역(Context-aware Receptive Field, CaRF)을 도입한다. CaRF를 탑재함으로써, 각 브랜치는 유사한 장면 해상도를 가진 영역을 의미적으로 세그멘테이션하게 되어, 학습이 더 용이한 보다 집중된 도메인을 형성하게 된다. 더불어, 본 네트워크는 한 브랜치의 특징이 인접한 브랜치의 특징을 보강하도록 계단식(cascaded) 구조로 구성되어 있다. 제안한 특징의 계단식 연결이 각 브랜치의 맥락 정보를 풍부하게 하고 전반적인 성능을 향상시킨다는 것을 보여준다. 제안한 네트워크는 두 개의 공개 데이터셋에서 기존 최고 수준의 방법들을 능가하는 정확도를 달성하였다.