초록
깊이 데이터는 RGB-D 장면 해석 작업에서 진전을 이끌 수 있는 기하학적 정보를 제공한다. 최근 몇몇 연구에서는 픽셀 간의 3차원 이웃 관계를 처리하기 위해 깊이 축을 따라 수용 영역을 구성하는 RGB-D 컨볼루션 연산자를 제안하였다. 그러나 이러한 방법들은 하이퍼파라미터를 통해 깊이 수용 영역을 미리 정의함으로써 파라미터 선택에 크게 의존하게 된다. 본 논문에서는 깊이 축을 따라 수용 영역을 학습할 수 있는 새로운 연산자인 유연한 2.5차원 컨볼루션(malleable 2.5D convolution)을 제안한다. 유연한 2.5차원 컨볼루션은 하나 이상의 2차원 컨볼루션 커널을 가진다. 본 방법은 각 픽셀을 상대적인 깊이 차이에 따라 해당 커널 중 하나에 할당하거나 할당하지 않도록 한다. 이 할당 과정은 미분 가능 형태로 공식화되어 기울기 하강법을 통해 학습이 가능하다. 제안된 연산자는 표준 2차원 특징 맵 위에서 작동하며, 사전 훈련된 CNN에 원활하게 통합될 수 있다. 제안된 방법의 효과성과 일반화 능력을 검증하기 위해 NYUDv2와 Cityscapes라는 두 가지 도전적인 RGB-D 세그멘테이션 데이터셋에서 광범위한 실험을 수행하였다.