RGBD 기반 차원 분해 잔차 네트워크를 이용한 3D 의미 장면 완성

RGB 이미지는 색상과 질감 정보에 대한 더 많은 세부 사항을 포함하고 있어, 이 정보가 깊이 정보를 보완하여 3D 의미 장면 완성(Semantic Scene Completion, SSC)의 성능을 향상시키는 중요한 역할을 합니다. SSC는 3D 형태 완성(Shape Completion, SC)과 의미 장면 라벨링으로 구성되며, 기존의 대부분 방법은 깊이 정보만을 입력으로 사용하여 성능 한계를 초래합니다. 또한, 최신 방법들은 복잡한 네트워크와 엄청난 수의 매개변수를 가진 3D CNNs를 활용하고 있습니다. 우리는 3D 밀도 예측 작업을 위해 경량화된 차원 분해 잔차 네트워크(Dimensional Decomposition Residual network, DDR)를 소개합니다. 새로운 인자 분해 합성곱 층(factorized convolution layer)은 네트워크 매개변수를 효과적으로 줄이는 데 도움이 되며, 제안된 다중 스케일 융합 메커니즘(multi-scale fusion mechanism)은 깊이와 색상 이미지를 통해 완성과 분할 정확도를 동시에 개선할 수 있습니다. 우리의 방법은 두 개의 공개 데이터셋에서 우수한 성능을 보여주었습니다. SSCNet과 비교했을 때, 우리 방법은 SC-IoU에서 5.9%의 성능 향상과 SSC-IoU에서 5.7%의 성능 향상을 달성하였으며, 이는 SSCNet에 비해 단지 21%의 네트워크 매개변수와 16.6%의 FLOPs만 사용한 결과입니다.