PENet: 정밀하고 효율적인 이미지 유도 깊이 완성 방향

이미지 유도 깊이 보완(Image guided depth completion)은 희소 깊이 맵(sparse depth map)과 고품질 이미지를 기반으로 밀도 높은 깊이 맵을 생성하는 작업이다. 이 작업에서 색상과 깊이 모달 간의 융합 방식이 우수한 성능을 달성하는 데 핵심적인 역할을 한다. 본 논문에서는 색상 중심 브랜치와 깊이 중심 브랜치로 구성된 이중 브랜치 백본을 제안하여 두 모달을 효과적으로 활용하고 융합한다. 구체적으로, 한 브랜치는 색상 이미지와 희소 깊이 맵을 입력으로 받아 밀도 높은 깊이 맵을 예측한다. 다른 브랜치는 희소 깊이 맵과 이전에 예측된 깊이 맵을 입력으로 받아 역시 밀도 높은 깊이 맵을 출력한다. 두 브랜치에서 예측된 깊이 맵은 서로 보완적인 성질을 가지므로, 적응형 방식으로 융합된다. 또한, 3차원 기하학적 정보를 효과적으로 인코딩하기 위해 간단한 기하학적 컨볼루션 층을 제안한다. 기하학적으로 인코딩된 백본은 다양한 단계에서 서로 다른 모달 간의 융합을 수행함으로써 우수한 깊이 보완 성능을 달성한다. 더불어, 융합된 깊이 맵을 효율적으로 개선하기 위해 확장 및 가속화된 CSPN++을 도입한다. 제안된 전체 모델은 제출 당시 KITTI 깊이 보완 온라인 랭킹에서 1위를 기록하였으며, 대부분의 상위 랭킹 방법들보다 훨씬 빠른 추론 속도를 보였다. 본 연구의 코드는 https://github.com/JUGGHM/PENet_ICRA2021 에 공개되어 있다.