마르스의 2차원 HiRISE 이미지로부터 고해상도 단안 깊이 추정을 위한 적대적 생성 네트워크

컴퓨터 비전 분야에서 스테레오스코피는 두 개의 서로 약간 다른 시점에서 촬영한 2차원 이미지를 이용하여 장면의 3차원 재구성을 가능하게 하며, 장면의 깊이에 대한 공간 정보를 불일치 지도(disparity map)의 형태로 추출한다. 스테레오포토그램메트리에서는 이러한 불일치 지도가 디지털 지형 모델(DTM) 추출에 필수적이며, 이는 행성 표면의 보다 정교한 분석을 위해 필요한 3차원 공간 맵핑을 가능하게 한다. 그러나 스테레오 매칭 알고리즘을 이용한 전체 재구성 과정은 시간이 오래 걸릴 수 있으며, 다수의 아티팩트를 유발할 수 있다. 더불어 적절한 스테레오 커버리지의 부족은 3차원 행성 맵핑에 있어 중대한 장애물이 될 수 있다. 최근에는 단일 2차원 이미지로부터 제3의 차원을 예측하는 단일 이미지 깊이 추정을 목표로 하는 다양한 딥러닝 아키텍처가 제안되었으며, 재구성 문제의 단순화 덕분에 큰 장점을 지니고 있어, 초해상도 이미지 생성 및 DTM 추정을 위한 딥 모델에 대한 관심이 크게 증가하고 있다. 본 논문에서는 이러한 두 가지 개념을 하나의 엔드 투 엔드 모델로 통합하고, 단일 단일 이미지로부터 4배 해상도의 DTM을 추정하는 새로운 생성적 적대 신경망(GAN) 기반 솔루션인 SRDiNet(Super-Resolution Depth Image Network)을 제안한다. 또한, 입력 이미지를 보간하여 보정하는 하위 네트워크를 도입하여 최종 결과물의 세부 구조를 더욱 정교하게 향상시키는 기능을 제공하며, 세 가지 서로 다른 버전의 제안 모델을 통해 그 효과를 검증한다: GAN 기반 SRDiNet, 적대적 네트워크 없이 구현된 SRDiNet, 그리고 보정 학습 네트워크 없이 GAN 기반으로 구현된 SRDiNet. 제안된 모델의 성능을 2023년 유럽우주국(ESA)의 로잘린드 프랭클린 에크스오마르스 탐사선이 착륙할 예정인 옥시아 플라눔(Oxia Planum) 지역에 적용하여, 전체 옥시아 플라눔 타일에 걸쳐 최적의 모델을 적용하고 4배 해상도로 향상된 3차원 제품을 공개한다.