Anisotropic Convolutional Networks for 3D Semantic Scene Completion 이방성 합성곱 네트워크를 이용한 3차원 의미 장면 완성

단일 깊이 및/또는 RGB 이미지에서 장면의 점유 상태와 의미 라벨을 동시에 추론하는 작업인 의미적 장면 완성(Semantic Scene Completion, SSC)은 다양한 객체나 물질의 모양, 배치, 가시성에 대한 심각한 변동성을 효과적으로 활용하여 3D 컨텍스트를 모델링하는 방법이 핵심 과제입니다. 이러한 변동성을 처리하기 위해, 우리는 표준 3D 컨볼루션과 그 일부 변형 등 경쟁 방법들이 불가능한 유연성과 성능을 갖춘 새로운 모듈인 이방성 컨볼루션(anisotropic convolution)을 제안합니다. 표준 3D 컨볼루션이 고정된 3D 수용 영역에 제한되는 것과 달리, 우리의 모듈은 각 복셀(voxel)별로 차원 이방성을 모델링할 수 있습니다. 기본적인 아이디어는 3D 컨볼루션을 세 개의 연속적인 1D 컨볼루션으로 분해하여 이방성 3D 수용 영역을 가능하게 하는 것입니다. 각 1D 컨볼루션의 커널 크기는 실시간으로 적응적으로 결정됩니다. 여러 개의 이러한 이방성 컨볼루션 모듈을 쌓음으로써, 복셀별 모델링 능력을 더욱 향상시키면서도 모델 파라미터의 양을 통제 가능한 수준으로 유지할 수 있습니다. NYU-Depth-v2와 NYUCAD 두 가지 SSC 벤치마크에서 수행된 광범위한 실험 결과, 제안된 방법의 우수한 성능이 입증되었습니다. 우리의 코드는 https://waterljwant.github.io/SSC/ 에서 확인할 수 있습니다.