공간정보 지도형 컨볼루션을 통한 실시간 RGBD 세분할

3D 공간 정보는 의미 분할 작업에 유리하다는 것이 잘 알려져 있다. 기존 대부분의 방법들은 3D 공간 데이터를 추가 입력으로 사용하여 RGB와 3D 공간 정보를 별도로 처리하는 이중 스트림 분할 네트워크를 구성한다. 그러나 이러한 접근 방식은 추론 시간을 크게 증가시키며, 실시간 응용 분야에서의 활용 가능성을 심각하게 제한한다. 이 문제를 해결하기 위해, 우리는 효율적인 RGB 특징과 3D 공간 정보의 통합을 가능하게 하는 공간 정보 지도형 컨볼루션(S-Conv)을 제안한다. S-Conv는 3D 공간 정보에 의해 유도된 컨볼루션 커널의 샘플링 오프셋을 추론할 수 있으며, 이는 컨볼루션 층이 수용 영역을 조정하고 기하학적 변환에 적응하는 데 도움을 준다. 또한 S-Conv는 공간적으로 적응형 컨볼루션 가중치를 생성함으로써 기하학적 정보를 특징 학습 과정에 통합한다. 파라미터 수와 계산 비용에 큰 영향을 주지 않으면서도 기하학적 정보 인식 능력이 크게 향상된다. 이를 바탕으로 S-Conv를 의미 분할 네트워크에 통합하여, 공간 정보 지도형 컨볼루션 네트워크(SGNet)를 제안한다. 결과적으로 실시간 추론이 가능하며, NYUDv2 및 SUNRGBD 데이터셋에서 최신 기술 수준의 성능을 달성하였다.