내부 환경 장면 해석을 위한 변분적 컨텍스트 변형 합성곱 네트워크

이미지 의미 분할에서 맥락 정보는 매우 중요하다. 특히 실내 환경에서는 객체의 크기 변화가 크기 때문에 공간적 맥락은 분할 성능 향상에 중요한 요소가 된다. 본 논문에서는 구조적으로 적응형 수용 영역을 학습할 수 있는 새로운 변분적 맥락-왜곡(Variational Context-Deformable, VCD) 모듈을 제안한다. 기존의 표준 ConvNet이 모든 픽셀에 대해 고정된 크기의 공간적 맥락을 공유하는 것과 달리, VCD 모듈은 깊이 정보를 기반으로 왜곡 가능한 공간적 맥락을 학습한다. 깊이 정보는 실제 국소 이웃 영역을 식별하는 단서를 제공한다. 구체적으로 다중 모달 정보를 기반으로 적응형 가우시안 커널을 학습하며, 학습된 가우시안 커널을 표준 컨볼루션 필터와 곱함으로써 각 픽셀에 대해 유연한 공간적 맥락을 컨볼루션 과정에서 집계할 수 있다. 본 연구의 주요 기여는 다음과 같다: 1) 학습 가능한 가우시안 커널을 활용하여 구조화된 적응형 맥락을 가지는 특징 학습을 가능하게 하는 새로운 VCD 모듈을 제안하였으며, 2) VCD 모듈의 학습에 변분 베이지안 확률 모델링을 도입하여 모듈의 연속성과 안정성을 향상시켰으며, 3) RGB-D 분할에서 다중 모달 정보를 효과적으로 활용하기 위해 시점 인식 지도 모듈을 설계하였다. 제안된 방법은 널리 사용되는 세 가지 데이터셋에서 평가되었으며, 성능 향상 결과는 제안된 방법의 효과성을 입증하였다.