RGB-D 세그멘테이션을 위한 픽셀 차이 컨볼루션 네트워크

RGB-D 세분화는 깊이 데이터의 가용성으로 인해 컨볼루션 신경망을 통해 향상될 수 있다. 단순히 2D 외형만으로는 객체를 쉽게 구분하기 어려우나, 깊이 데이터 내의 국소적 픽셀 차이와 기하학적 패턴을 활용하면 일부 경우에 잘 분리할 수 있다. 그러나 고정된 격자 커널 구조를 가진 CNN은 세부적인 미세한 정보를 포착할 능력이 부족하여 정확한 픽셀 단위의 의미 세분화를 달성하기 어렵다. 이 문제를 해결하기 위해 우리는 깊이 데이터에 대해 국소 범위 내에서 강도 및 기울기 정보를 통합하고, RGB 데이터에 대해 전역 범위에서 이를 적용함으로써 세부적인 내재적 패턴을 포착할 수 있는 픽셀 차이 컨볼루션 네트워크(Pixel Difference Convolutional Network, PDCNet)를 제안한다. 구체적으로 PDCNet은 깊이 브랜치와 RGB 브랜치로 구성된다. 깊이 브랜치에서는 국소적이고 세밀한 기하학적 정보를 강도 및 기울기 정보를 통합함으로써 고려하는 픽셀 차이 컨볼루션(Pixel Difference Convolution, PDC)을 제안한다. RGB 브랜치에서는 PDC를 확장하여 전역적 맥락을 활용할 수 있도록 경량형 캐스케이드 대규모 커널(Cascade Large Kernel, CLK)을 도입함으로써 CPDC(Cascade PDC)를 구성한다. 이를 통해 RGB 데이터의 전역적 정보를 효과적으로 활용하여 성능을 더욱 향상시킨다. 결과적으로, 정보 전파 과정에서 양방향 모달 데이터의 국소적 및 전역적 픽셀 차이가 원활하게 PDCNet에 통합된다. NYUDv2 및 SUN RGB-D와 같은 두 가지 도전적인 벤치마크 데이터셋에서의 실험 결과, 본 연구의 PDCNet이 의미 세분화 작업에서 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였다.