RigNet: 깊이 완성 위한 반복 이미지 유도 네트워크

심도 보완(depth completion)은 희소한 심도 지도로부터 밀도 높은 심도 지도를 복원하는 문제를 다루며, 일반적으로 색상 이미지를 활용하여 이 과정을 보조한다. 최근의 접근 방식은 주로 밀도 높은 심도를 예측하기 위해 이미지 유도 학습 프레임워크에 집중하고 있다. 그러나 이미지 내에서 흐릿한 유도 정보와 심도에서 명확하지 않은 구조적 정보는 여전히 이미지 유도 프레임워크의 성능을 저해하는 주요 요인으로 남아 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 이미지 유도 네트워크 내에서 반복적인 구조를 도입하여 심도 값을 점진적이고 충분하게 복원하는 방식을 탐색한다. 구체적으로, 반복 구조는 이미지 유도 브랜치와 심도 생성 브랜치 양쪽 모두에 적용된다. 먼저, 이미지 유도 브랜치에서는 복잡한 환경에서 구분 가능한 이미지 특징을 효과적으로 추출할 수 있도록 반복적인 아워글라스 네트워크를 설계하였다. 이는 심도 예측에 강력한 맥락 정보를 제공한다. 반면, 심도 생성 브랜치에서는 동적 컨볼루션(dynamic convolution) 기반의 반복적 유도 모듈을 도입하였으며, 효율적인 컨볼루션 분해 기법을 제안하여 모듈의 복잡도를 동시에 감소시키면서도 고주파 구조를 점진적으로 모델링할 수 있도록 했다. 광범위한 실험 결과를 통해 제안한 방법이 KITTI 벤치마크와 NYUv2 데이터셋에서 우수하거나 경쟁력 있는 성능을 달성함을 확인하였다.