스테레오 이미지의 공간 해상도 향상을 위한 파라락스 사전 지식 활용

우리는 시차 사전 정보(parallax prior)를 활용하여 스테레오 이미지의 공간 해상도를 향상시키는 새로운 방법을 제안한다. 기존의 스테레오 영상 기술은 스테레오 이미지에서 깊이를 추정하는 데 주목해 왔으나, 본 연구에서는 스테레오 이미지를 활용하여 시차(disparity)를 추정하는 대신 공간 해상도를 향상시키는 데 초점을 맞춘다. 스테레오 이미지로부터 공간 해상도를 향상시키는 데 있어 핵심적인 과제는 서브픽셀 수준의 정확도로 대응되는 픽셀을 정렬하는 것이다. 기존의 스테레오 영상 기술에서는 시차를 픽셀 단위로 계산하므로, 공간 해상도 향상에 직접적으로 적용하기에는 부적절하다. 이를 해결하기 위해, 우리는 두 단계의 네트워크를 공동 학습함으로써 스테레오 이미지 데이터셋으로부터 시차 사전 정보를 학습한다. 첫 번째 네트워크는 밝기(luminance) 영상의 공간 해상도를 향상시키는 방법을 학습하고, 두 번째 네트워크는 입력 이미지의 고해상도 밝기 및 색채(chrominance) 정보로부터 고해상도 색상 이미지를 재구성하는 방법을 학습한다. 제안된 두 단계의 공동 학습 네트워크는 단일 이미지 슈퍼레졸루션 기법보다 스테레오 이미지의 공간 해상도를 훨씬 더 효과적으로 향상시킨다. 본 방법은 스테레오 깊이 영상 기술에 어떤 경우에도 직접 적용 가능하며, 스테레오 이미지의 공간 해상도 향상이 가능하게 한다.